大數(shù)據(jù)技術(shù)是一系列技術(shù)的總稱，它是集合了數(shù)據(jù)采集與傳輸、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)處理與分析、數(shù)據(jù)挖掘、數(shù)據(jù)可視化等技術(shù)，是一個(gè)龐大而復(fù)雜的技術(shù)體系。

根據(jù)大數(shù)據(jù)從來(lái)源到應(yīng)用，實(shí)現(xiàn)傳輸?shù)牧鞒蹋梢詫⒋髷?shù)據(jù)架構(gòu)設(shè)計(jì)分為數(shù)據(jù)收集層、數(shù)據(jù)存儲(chǔ)層、數(shù)據(jù)處理層、數(shù)據(jù)治理與建模層、數(shù)據(jù)應(yīng)用層。

一、數(shù)據(jù)收集層

大數(shù)據(jù)收集層主要采用了大數(shù)據(jù)采集技術(shù)，實(shí)現(xiàn)對(duì)數(shù)據(jù)的ETL操作，ETL，是英文Extract-Transform-Load的縮寫(xiě)，數(shù)據(jù)從數(shù)據(jù)來(lái)源端經(jīng)過(guò)抽?。╡xtract）、轉(zhuǎn)換（transform）、加載（load）到目的端。

二、數(shù)據(jù)存儲(chǔ)層

當(dāng)大量的數(shù)據(jù)收集完后，我們需要對(duì)大數(shù)據(jù)進(jìn)行存儲(chǔ)。數(shù)據(jù)的存儲(chǔ)分為持久化存儲(chǔ)和非持久化存儲(chǔ)。持久化存儲(chǔ)表示把數(shù)據(jù)存儲(chǔ)在磁盤(pán)中，關(guān)機(jī)或斷電后，數(shù)據(jù)依然不會(huì)丟失。非持久化存儲(chǔ)表示把數(shù)據(jù)存儲(chǔ)在內(nèi)存中，讀寫(xiě)速度快，但是關(guān)機(jī)或斷電后，數(shù)據(jù)丟失。

三、數(shù)據(jù)處理層

當(dāng)我們把數(shù)據(jù)收集好了、數(shù)據(jù)存儲(chǔ)以及讀寫(xiě)也都沒(méi)有問(wèn)題，我們手握著這一堆數(shù)據(jù)干嘛？除了保存原始數(shù)據(jù)，做好數(shù)據(jù)備份之外，我們還需要考慮到利用他們產(chǎn)生更大的價(jià)值。那么首先我們需要對(duì)這些數(shù)據(jù)進(jìn)行處理。大數(shù)據(jù)處理分為兩類，批量處理和實(shí)時(shí)處理。

四、數(shù)據(jù)治理與建模層

數(shù)據(jù)架構(gòu)設(shè)計(jì)與數(shù)據(jù)治理二者緊密相連，數(shù)據(jù)收集、數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)處理是大數(shù)據(jù)架構(gòu)的基礎(chǔ)設(shè)置。一般情況下，完成以上三個(gè)層次的數(shù)據(jù)工作，已經(jīng)將數(shù)據(jù)轉(zhuǎn)化為基礎(chǔ)數(shù)據(jù)，為上層的業(yè)務(wù)應(yīng)用提供支撐。但是大數(shù)據(jù)時(shí)代，數(shù)據(jù)類型多樣，單位價(jià)值稀疏的特點(diǎn)，要求對(duì)數(shù)據(jù)進(jìn)行治理和融合建模。通過(guò)利用R語(yǔ)言、Python等對(duì)數(shù)據(jù)進(jìn)行ETL預(yù)處理，然后再根據(jù)算法模型、業(yè)務(wù)模型進(jìn)行融合建模，從而更好地為業(yè)務(wù)應(yīng)用提供優(yōu)質(zhì)底層數(shù)據(jù)。

五、數(shù)據(jù)應(yīng)用層

數(shù)據(jù)應(yīng)用層是大數(shù)據(jù)技術(shù)和應(yīng)用的目標(biāo)。通常包括信息檢索、關(guān)聯(lián)分析等功能。Lucene、Solr和Elasticsearch這樣的開(kāi)源項(xiàng)目為信息檢索的實(shí)現(xiàn)提供了可能。

大數(shù)據(jù)架構(gòu)為大數(shù)據(jù)的業(yè)務(wù)應(yīng)用提供了一種通用的架構(gòu)，還需要根據(jù)行業(yè)領(lǐng)域、公司技術(shù)積累以及業(yè)務(wù)場(chǎng)景，從業(yè)務(wù)需求、產(chǎn)品設(shè)計(jì)、技術(shù)選型到實(shí)現(xiàn)方案流程上具體問(wèn)題具體分析，利用大數(shù)據(jù)可視化技術(shù)，進(jìn)一步深入，形成更為明確的應(yīng)用，包括基于大數(shù)據(jù)交易與共享、基于開(kāi)發(fā)平臺(tái)的大數(shù)據(jù)應(yīng)用、基于大數(shù)據(jù)的工具應(yīng)用等。

這是理論上的數(shù)據(jù)架構(gòu)設(shè)計(jì)，大家可能想問(wèn)了，在具體的應(yīng)用中，有沒(méi)有做的好的數(shù)據(jù)架構(gòu)設(shè)計(jì)軟件呢？這里我給大家主要展示一下Smartbi的數(shù)據(jù)架構(gòu)設(shè)計(jì)系統(tǒng)。

一、業(yè)務(wù)應(yīng)用：其實(shí)指的是數(shù)據(jù)采集，你通過(guò)什么樣的方式收集到數(shù)據(jù)?；ヂ?lián)網(wǎng)收集數(shù)據(jù)相對(duì)簡(jiǎn)單，通過(guò)網(wǎng)頁(yè)、App就可以收集到數(shù)據(jù)，比如很多銀行現(xiàn)在都有自己的App。

更深層次的還能收集到用戶的行為數(shù)據(jù)，可以切分出來(lái)很多維度，做很細(xì)的分析。但是對(duì)于涉及到線下的行業(yè)，數(shù)據(jù)采集就需要借助各類的業(yè)務(wù)系統(tǒng)去完成。

二、數(shù)據(jù)集成：指的其實(shí)是ETL，指的是用戶從數(shù)據(jù)源抽取出所需的數(shù)據(jù)，經(jīng)過(guò)數(shù)據(jù)清洗，最終按照預(yù)先定義好的數(shù)據(jù)倉(cāng)庫(kù)模型，將數(shù)據(jù)加載到數(shù)據(jù)倉(cāng)庫(kù)中去。而這里的Kettle只是ETL的其中一種。

三、數(shù)據(jù)存儲(chǔ)：指的就是數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)了，簡(jiǎn)單來(lái)說(shuō)可以分為業(yè)務(wù)數(shù)據(jù)層（DW）、指標(biāo)層、維度層、匯總層（DWA）。

四、數(shù)據(jù)共享層：表示在數(shù)據(jù)倉(cāng)庫(kù)與業(yè)務(wù)系統(tǒng)間提供數(shù)據(jù)共享服務(wù)。Web Service和Web API ，代表的是一種數(shù)據(jù)間的連接方式，還有一些其他連接方式，可以按照自己的情況來(lái)確定。

五、數(shù)據(jù)分析層：分析函數(shù)就相對(duì)比較容易理解了，就是各種數(shù)學(xué)函數(shù)，比如K均值分析、聚類、RMF模型等等。列存儲(chǔ)讓磁盤(pán)中的各個(gè)Page僅存儲(chǔ)單列的值，并非整行的值。這樣壓縮算法會(huì)更加高效。進(jìn)一步說(shuō)，這樣能夠減少磁盤(pán)的I/O、提升緩存利用率，因此，磁盤(pán)存儲(chǔ)會(huì)被更加高效的利用。

六、數(shù)據(jù)展現(xiàn)：結(jié)果以什么樣的形式呈現(xiàn)，其實(shí)就是數(shù)據(jù)可視化。這里建議用敏捷BI，和傳統(tǒng)BI不同的是，它能通過(guò)簡(jiǎn)單的拖拽就生成報(bào)表，學(xué)習(xí)成本較低。國(guó)內(nèi)的敏捷BI中，個(gè)人用戶推薦Tableau，像銀行這類的企業(yè)級(jí)需求推薦Yonghong BI。

七、數(shù)據(jù)訪問(wèn)：這個(gè)就比較簡(jiǎn)單了，看你是通過(guò)什么樣的方式去查看這些數(shù)據(jù)，圖中示例的是因?yàn)锽/S架構(gòu)，最終的可視化結(jié)果是通過(guò)瀏覽器訪問(wèn)的。