大數(shù)據(jù)概述
在大數(shù)據(jù)這個(gè)概念興起之前并巍，信息系統(tǒng)存儲(chǔ)數(shù)據(jù)的方法主要是我們熟知的關(guān)系型數(shù)據(jù)庫，關(guān)系型數(shù)據(jù)庫换途，關(guān)系型模型之父 Edgar F. Codd懊渡，在 1970 年 Communications of ACM 上發(fā)表了《大型共享數(shù)據(jù)庫數(shù)據(jù)的關(guān)系模型》的經(jīng)典論文，從此之后關(guān)系模型的語義設(shè)計(jì)達(dá)到了 40 年來普世军拟、易于理解剃执，語法的嵌套，閉環(huán)懈息，完整肾档。關(guān)系型數(shù)據(jù)庫管理系統(tǒng)（RDBMS）就是基于關(guān)系模型在數(shù)據(jù)庫領(lǐng)域所構(gòu)建的傳統(tǒng)數(shù)據(jù)庫管理工具，例如大名鼎鼎m的Oracle辫继、DB2怒见、MySQL、PostgreSQL姑宽、SQLServer等遣耍。
作為早期的互聯(lián)網(wǎng)、電子政務(wù)低千、商業(yè)管理配阵、工業(yè)制造等行業(yè)領(lǐng)域，首先每天產(chǎn)生的數(shù)據(jù)量并不大示血，而且以高價(jià)值的結(jié)構(gòu)化數(shù)據(jù)為主棋傍，例如：早期互聯(lián)網(wǎng)Web1.0時(shí)代，一臺(tái)SQLServer數(shù)據(jù)庫就能支撐絕大多數(shù)的門戶網(wǎng)站难审，一臺(tái)小機(jī)搭配Oracle就能輕松應(yīng)對(duì)在線金融業(yè)務(wù)系統(tǒng)瘫拣；其次數(shù)據(jù)訪問需求比較簡(jiǎn)單，主要是業(yè)務(wù)數(shù)據(jù)模型之間的關(guān)聯(lián)設(shè)計(jì)告喊，業(yè)務(wù)數(shù)據(jù)的插入麸拄、更新和刪除，對(duì)于更復(fù)雜的數(shù)據(jù)需求主要還是對(duì)字段的分組查詢形成多維統(tǒng)計(jì)和明細(xì)下鉆黔姜。
但是這一切都被互聯(lián)網(wǎng)的發(fā)展所打破拢切，尤其是到了2010年移動(dòng)互聯(lián)網(wǎng)的爆發(fā)。大數(shù)據(jù)的名詞和概念隨著Google的定義席卷了全球秆吵，那么大數(shù)據(jù)最基本的一個(gè)特征就是信息服務(wù)所接收到的數(shù)據(jù)請(qǐng)求量非常龐大淮椰，這對(duì)于傳統(tǒng)的RDBMS來講是沖擊性的。
舉個(gè)例子：微博一個(gè)頂流明星關(guān)注的粉絲都是千萬級(jí)以上纳寂，若按照關(guān)系型數(shù)據(jù)庫的存儲(chǔ)與查詢方法來做一次明星內(nèi)容推送主穗，那么就需要按照明星ID查詢到所有粉絲ID，給每個(gè)粉絲的關(guān)注者動(dòng)態(tài)表增加一條明星新發(fā)布內(nèi)容的ID毙芜，這對(duì)于關(guān)系型數(shù)據(jù)庫來講是極為恐怖的一次二級(jí)索引遍歷事件和索引構(gòu)建事件忽媒，而這種事件在微博業(yè)務(wù)里面每天都是高頻次產(chǎn)生，另外B樹索引會(huì)被千萬級(jí)的索引量撐大得特別寬腋粥，這種遍歷基本上就是瘋狂的IO掃描晦雨。那么我們可以想象到，上億次的發(fā)布灯抛，在成千上百億的數(shù)據(jù)量中不斷遍歷金赦，再強(qiáng)悍的關(guān)系型數(shù)據(jù)庫都會(huì)瞬間崩潰。
上面主要提到的是互聯(lián)網(wǎng)大平臺(tái)的常見請(qǐng)求服務(wù)对嚼，數(shù)據(jù)庫對(duì)于海量數(shù)據(jù)進(jìn)行索引請(qǐng)求操作的恐怖性能需求夹抗，那么這些數(shù)據(jù)量在大數(shù)據(jù)概念興起之后的驟然劇增是什么原因?qū)е碌哪兀?/p>
主要因素就是互聯(lián)網(wǎng)越來越普及，被連接的信息點(diǎn)越來越密纵竖，信息的傳輸和交流變得越來越通暢漠烧，例如：早期的金融、保險(xiǎn)靡砌、電信等信息系統(tǒng)若要將數(shù)據(jù)匯集到管理中心已脓，都是各個(gè)地區(qū)負(fù)責(zé)人對(duì)自身所轄數(shù)據(jù)庫進(jìn)行文件輸出，然后再將文件定期上傳到中心通殃，最后由中心管理員統(tǒng)一匯總度液，這種方式最大的問題就是數(shù)據(jù)延遲很大厕宗，提交的數(shù)據(jù)質(zhì)量總會(huì)因?yàn)椴唤y(tǒng)一的規(guī)范而導(dǎo)致參差不齊的質(zhì)量，尤其是匯聚到中心的數(shù)據(jù)堕担，盡管體量龐大已慢，但是不具有從起點(diǎn)到終點(diǎn)的全過程設(shè)計(jì)，因此數(shù)據(jù)的應(yīng)用程度很低霹购，這就導(dǎo)致了數(shù)據(jù)倉庫變成了數(shù)據(jù)墳?zāi)埂?/p>
但是通過互聯(lián)網(wǎng)佑惠、移動(dòng)化，現(xiàn)在大量的業(yè)務(wù)從源頭就開始了向一個(gè)中心平臺(tái)服務(wù)的業(yè)務(wù)提交齐疙，數(shù)據(jù)匯聚膜楷，那么數(shù)據(jù)就實(shí)時(shí)地流動(dòng)起來了，每天形成了大量的數(shù)據(jù)業(yè)務(wù)存儲(chǔ)贞奋，這在金融赌厅、電信、保險(xiǎn)轿塔、政府公共事業(yè)方面特別明顯察蹲，例如：我們?cè)?jīng)做過的稅務(wù)健康監(jiān)測(cè)系統(tǒng)，每天都需要監(jiān)測(cè)上百G的數(shù)據(jù)量催训，而這都是整個(gè)城市的公眾在一個(gè)稅務(wù)系統(tǒng)上進(jìn)行稅務(wù)業(yè)務(wù)辦理所產(chǎn)生的龐大數(shù)據(jù)量洽议，這就是大數(shù)據(jù)產(chǎn)生的一個(gè)重要因素。
大數(shù)據(jù)產(chǎn)生的另外一個(gè)因素就是城市基礎(chǔ)設(shè)施漫拭、人亚兄、水源河流、天氣環(huán)境采驻、公路交通审胚、工業(yè)設(shè)備、機(jī)房等活動(dòng)狀態(tài)可監(jiān)測(cè)的對(duì)象礼旅，通過(生物)傳感器膳叨、物聯(lián)網(wǎng)的技術(shù)手段，采集了大量基于時(shí)間線的感應(yīng)數(shù)據(jù)痘系，這些數(shù)據(jù)最大的特征在于數(shù)據(jù)長(zhǎng)期是穩(wěn)定的走勢(shì)菲嘴，但是恰恰不穩(wěn)定的數(shù)據(jù)是需要被重點(diǎn)監(jiān)測(cè)，以達(dá)到及時(shí)預(yù)防汰翠，防止故障與災(zāi)難龄坪，因此我們可以理解這些數(shù)據(jù)大多數(shù)是低價(jià)值的，只有少量變異數(shù)據(jù)和具有挖掘出潛在關(guān)聯(lián)關(guān)系的數(shù)據(jù)卻又具有極高的價(jià)值复唤，這個(gè)特色還特別體現(xiàn)在股票方面健田，例如：通過多支股票的走勢(shì)進(jìn)行數(shù)據(jù)挖掘，從它們的歷史峰值和谷底中找到相似性的走勢(shì)佛纫，再從相似性走勢(shì)中預(yù)測(cè)可能發(fā)生的概率妓局。
大數(shù)據(jù)技術(shù)描述
我們?cè)谏厦娴母攀鲋衅鋵?shí)心里就應(yīng)該很清楚傳統(tǒng)RDBMS數(shù)據(jù)庫是難以支撐大數(shù)據(jù)場(chǎng)景总放，那么到底有哪些技術(shù)屬于大數(shù)據(jù)技術(shù)，這些技術(shù)又起到什么作用呢好爬？
回答這個(gè)問題之前间聊，我們需要先搞清楚解決大數(shù)據(jù)業(yè)務(wù)需要的流程和步驟，在這個(gè)問題上的復(fù)雜度已經(jīng)遠(yuǎn)遠(yuǎn)超過了傳統(tǒng)數(shù)據(jù)庫處理的場(chǎng)景抵拘，我們上面提到過傳統(tǒng)數(shù)據(jù)庫主要就是支撐在線業(yè)務(wù)數(shù)據(jù)的查詢、寫入和更新型豁，但是大數(shù)據(jù)業(yè)務(wù)需要考慮的主要流程就是：采集僵蛛、數(shù)據(jù)流處理、數(shù)據(jù)管道迎变、存儲(chǔ)充尉、搜索、挖掘分析衣形、查詢服務(wù)和分析展示等
下圖是個(gè)比較典型的大數(shù)據(jù)采集驼侠、傳輸、存儲(chǔ)和分析的示意圖：
在大數(shù)據(jù)中非常重要起點(diǎn)就是對(duì)于數(shù)據(jù)的采集谆吴，一般大數(shù)據(jù)主流程不會(huì)直接從用戶端的請(qǐng)求服務(wù)中進(jìn)行計(jì)算倒源，我們將這個(gè)領(lǐng)域定位為OLTP，也就是由傳統(tǒng)數(shù)據(jù)庫或支撐海量數(shù)據(jù)寫入的NoSQL來完成句狼，然后我們通過采集工具從RDBMS笋熬、文件或NoSQL中進(jìn)行采集同步，例如上圖中：利用CDC(數(shù)據(jù)變更捕獲)腻菇，我們可以從PostgreSQL的邏輯復(fù)制中捕獲WAL(預(yù)寫日志文件)的數(shù)據(jù)變更胳螟，然后將變更數(shù)據(jù)發(fā)送到大數(shù)據(jù)平臺(tái)，也可以從文件中采集獲取筹吐，常見的采集工具有ELK的Filebeat糖耸、Logstash采集文件，F(xiàn)lume作為多源采集管道并集成HDFS丘薛，Canal采集MySQL Binlog嘉竟，F(xiàn)link CDC采集PostgresSQL WAL等。
數(shù)據(jù)流處理主要應(yīng)用在數(shù)據(jù)傳輸實(shí)時(shí)性比較高的場(chǎng)景洋侨，我們常見的Flink周拐、Storm、Spark Streaming都是為此場(chǎng)景而產(chǎn)生凰兑，在上圖中我們可以看到流處理管道妥粟，起到了數(shù)據(jù)傳輸過程中非常重要的數(shù)據(jù)轉(zhuǎn)換和數(shù)據(jù)寫入作用，它們還能在流傳輸?shù)倪^程中進(jìn)行流庫連接吏够、流流連接進(jìn)行二次加工勾给，生成新的數(shù)據(jù)流滩报，并在流轉(zhuǎn)的過程中進(jìn)行實(shí)時(shí)數(shù)據(jù)采樣、過濾播急、轉(zhuǎn)換脓钾、封裝、清洗等多種實(shí)時(shí)處理操作桩警。
數(shù)據(jù)流在中轉(zhuǎn)過程中往往需要緩沖進(jìn)隊(duì)列可训，這在大數(shù)據(jù)的實(shí)時(shí)流處理中非常重要，例如：Kafka捶枢、RocketMQ握截，它們不僅形成了數(shù)據(jù)在上下游計(jì)算流轉(zhuǎn)過程中的數(shù)據(jù)持久化所帶來的數(shù)據(jù)可靠性，而且還能形成一對(duì)多的發(fā)布與訂閱的扇形數(shù)據(jù)流轉(zhuǎn)結(jié)構(gòu)烂叔，這樣就可以一個(gè)數(shù)據(jù)為多個(gè)計(jì)算服務(wù)所用谨胞，如上圖中變更隊(duì)列一方面可以由搜索管道來訂閱，數(shù)據(jù)就流向了數(shù)據(jù)搜索引擎蒜鸡，另一方面可以由分析管道來訂閱胯努，數(shù)據(jù)流就流向了OLAP平臺(tái)，另外隊(duì)列保持了發(fā)生情況的前后一致性逢防，那么我們存儲(chǔ)的過程中就能輕松解決數(shù)據(jù)的時(shí)間線或事務(wù)問題叶沛。
大數(shù)據(jù)存儲(chǔ)需要根據(jù)數(shù)據(jù)所適用的場(chǎng)景進(jìn)行多種情況的構(gòu)建，如上圖中我們可以看到忘朝，若應(yīng)用于搜索場(chǎng)景恬汁，那么最好的存儲(chǔ)就是搜索引擎，例如：Elasticsearch辜伟、Solr氓侧，這些數(shù)據(jù)庫都是典型的文檔型數(shù)據(jù)庫，基于文檔樹的結(jié)構(gòu)存儲(chǔ)导狡，并對(duì)文檔進(jìn)行全文索引约巷；若應(yīng)用于OLAP場(chǎng)景，我們可以從圖中看到使用到了HBase分布式KV數(shù)據(jù)庫旱捧，它是完全遵循Google BigTable論文的開源實(shí)現(xiàn)独郎，基于列簇格式存儲(chǔ)，行鍵排序枚赡，形成一個(gè)非常寬大的稀疏表氓癌，非常適合做在線統(tǒng)計(jì)處理和離線數(shù)據(jù)挖掘。
例如：我們前面提到的微博問題贫橙，對(duì)于HBase來說贪婉，一個(gè)行鍵、兩個(gè)列簇卢肃、千萬級(jí)稀疏列疲迂，明星(行鍵)才顿、粉絲集合（列簇）、粉絲（列）或者明星（行鍵）尤蒿、發(fā)布集合（列簇）郑气、發(fā)布微博（列），我們總能快速的通過明星ID腰池，掃描他的粉絲集合尾组，獲取千萬粉絲進(jìn)行推送，粉絲也能通過明星ID示弓，定位到他的微博發(fā)布集合讳侨，快速找到最新發(fā)布的微博。這僅僅是面向高并發(fā)的實(shí)時(shí)聚合查詢的一個(gè)案例避乏。
上圖中我們可以通過HBase完全承載PostgreSQL的結(jié)構(gòu)化數(shù)據(jù)，還能通過數(shù)據(jù)管道結(jié)構(gòu)化文件數(shù)據(jù)甘桑，在HBase列簇中形成統(tǒng)一的數(shù)據(jù)結(jié)構(gòu)拍皮，上圖的目的是從PostgreSQL中采集到車輛數(shù)據(jù)，文件中采集到車輛運(yùn)行中的坐標(biāo)數(shù)據(jù)跑杭，那么HBase中就能以車輛數(shù)據(jù)為行鍵铆帽，坐標(biāo)數(shù)據(jù)為列簇與列，可以進(jìn)一步分析不同時(shí)間點(diǎn)不同路段的擁堵情況德谅。
同時(shí)我們從上圖中可以看到HBase只是分布式的數(shù)據(jù)庫引擎爹橱，真正數(shù)據(jù)落盤在了Hadoop HDFS，它是分布式文件系統(tǒng)窄做，基于Google GFS 論文的開源實(shí)現(xiàn)愧驱，提供了數(shù)據(jù)塊的高可靠存儲(chǔ)。
數(shù)據(jù)分析過程主要是分布式數(shù)據(jù)庫海量數(shù)據(jù)的批量數(shù)據(jù)挖掘椭盏，我們往往需要一些支持MPP（大規(guī)模并行處理）的分布式計(jì)算框架來解決组砚，例如：Spark、MapReduce掏颊、Tez糟红、Hive、Presto等乌叶。這些處理引擎主要是以集群化的分布式并行計(jì)算將數(shù)據(jù)切分成多任務(wù)來解決盆偿，這樣再超大規(guī)模的數(shù)據(jù)集合都可以被更多的計(jì)算節(jié)點(diǎn)切分而快速完成。
那么基于Spark的這樣的大數(shù)據(jù)技術(shù)棧進(jìn)行預(yù)測(cè)分析准浴，就有了Spark MLlib這樣的機(jī)器學(xué)習(xí)模型庫事扭，例如：我們要通過對(duì)一組海量進(jìn)行一項(xiàng)顧客風(fēng)險(xiǎn)評(píng)測(cè)訓(xùn)練，預(yù)測(cè)某一位顧客購買某項(xiàng)保險(xiǎn)項(xiàng)未來出現(xiàn)賠付的概率乐横，那么就能通過MLlib的DecisionTree(決策樹)算法句旱，不斷調(diào)整訓(xùn)練參數(shù)阳藻，去熵提純集合，找到最佳的預(yù)測(cè)模型谈撒。
總結(jié)
作為大數(shù)據(jù)的應(yīng)用與價(jià)值非常廣泛腥泥，我們上面只是大數(shù)據(jù)整個(gè)生態(tài)體系的冰山一角，比如說：通過對(duì)廣告投放數(shù)據(jù)的采集并寫入時(shí)序數(shù)據(jù)庫(TSDB)啃匿，我們可以非郴淄猓快速地在每秒百億次的點(diǎn)擊中，分析出每分鐘每個(gè)投放網(wǎng)站的收益溯乒，投放平臺(tái)為每個(gè)廣告顧客創(chuàng)造的投放次數(shù)夹厌、展示次數(shù)、廣告瀏覽時(shí)長(zhǎng)等裆悄；
再比如說：我們通過日志數(shù)據(jù)跟蹤矛纹，能將上千臺(tái)服務(wù)器的日志進(jìn)行分布式Track，那么我就能實(shí)時(shí)分析出一筆業(yè)務(wù)需要經(jīng)歷多少臺(tái)服務(wù)器光稼，經(jīng)歷了多少服務(wù)轉(zhuǎn)發(fā)或南，在哪些服務(wù)上出現(xiàn)了延時(shí)，從而達(dá)到快速運(yùn)維感知艾君，尤其是面向公共事業(yè)采够、互聯(lián)網(wǎng)電商、互聯(lián)網(wǎng)金融無法容忍分鐘級(jí)的故障導(dǎo)致的系統(tǒng)不可用冰垄，實(shí)時(shí)運(yùn)維感知的作用就是剛性需求蹬癌。
談到信用卡機(jī)構(gòu)、銀行虹茶、保險(xiǎn)行業(yè)逝薪，最重要的一項(xiàng)分析就是對(duì)顧客群體的預(yù)測(cè)分析，這在防欺詐蝴罪、信用評(píng)級(jí)翼闽、貸款方面可以說大數(shù)據(jù)應(yīng)用起到了無可替代的作用，我們需要通過數(shù)據(jù)挖掘洲炊、機(jī)器學(xué)習(xí)感局，將碎片化的不同數(shù)據(jù)集合，進(jìn)行搜集暂衡、清洗询微、完善，建立數(shù)據(jù)分析算法模型狂巢，不斷通過對(duì)海量數(shù)據(jù)的分析撑毛，參數(shù)優(yōu)化，從數(shù)據(jù)中發(fā)現(xiàn)隱藏的關(guān)系，預(yù)測(cè)個(gè)體行為概率藻雌。
A Relational Model of Data for Large Shared Data Banks
論文下載鏈接：
https://www.seas.upenn.edu/~zives/03f/cis550/codd.pdf
Bigtable: A Distributed Storage System for Structured Data
論文下載鏈接：
https://static.googleusercontent.com/media/research.google.com/zh-CN//archive/bigtable-osdi06.pdf
The Google File System
論文下載鏈接：
https://static.googleusercontent.com/media/research.google.com/zh-CN//archive/gfs-sosp2003.pdf
