為什么要用Lambda Architecture
在大數(shù)據(jù)處理系統(tǒng)中氢哮，數(shù)據(jù)處理的可靠性和實(shí)時(shí)性是一對(duì)矛盾句占，往往不可兼得淫僻。可靠性是指在任何異常出現(xiàn)的情況下阔拳，數(shù)據(jù)處理都能夠做到不重不丟崭孤，并且最終得到準(zhǔn)確的結(jié)果。實(shí)時(shí)性是指數(shù)據(jù)從輸入到處理完畢輸出的時(shí)間間隔糊肠。一般來(lái)說(shuō)辨宠，對(duì)于像Hadoop MapReduce這樣的批處理系統(tǒng)來(lái)說(shuō)，可靠性很高货裹，而實(shí)時(shí)性很差嗤形；對(duì)于Storm這樣的流式處理系統(tǒng)來(lái)說(shuō)，則情況正好相反弧圆。
那么赋兵，有沒(méi)有辦法使得數(shù)據(jù)處理系統(tǒng)即可以做到高可靠，又可以做到低延遲呢搔预？Lambda Architecture就是這個(gè)問(wèn)題的答案霹期。
Lambda Architecture是為了滿足如下需求：
- 系統(tǒng)故障或人為錯(cuò)誤不丟數(shù)據(jù)
- 數(shù)據(jù)分析低延遲
- 系統(tǒng)具備線性擴(kuò)展能力
- 系統(tǒng)中很容易增加新特性
Lambda Architecture是什么
如上圖所示，Lambda Architecture由batch layer拯田、speed layer经伙、serving layer組成。在輸入端集中接收數(shù)據(jù)勿锅，并拷貝數(shù)據(jù)，分別導(dǎo)入到batch layer和 speed layer枣氧。
Batch Layer
Batch layer的職責(zé)是保證數(shù)據(jù)處理的準(zhǔn)確性和可靠性溢十。
Batch layer首先把數(shù)據(jù)以其原始格式存儲(chǔ)在HDFS上，以加強(qiáng)系統(tǒng)的可靠性达吞。然后张弛，利用Hadoop MapReduce作業(yè)對(duì)數(shù)據(jù)進(jìn)行處理，并將結(jié)果保存起來(lái)（這種處理之后的數(shù)據(jù)稱之為batch view）酪劫。Hadoop作業(yè)具有很好魯棒性吞鸭，在運(yùn)行過(guò)程中出現(xiàn)各種異常時(shí)都不會(huì)損失數(shù)據(jù)。對(duì)于存儲(chǔ)系統(tǒng)來(lái)說(shuō)覆糟，這種批處理方式只需要隨機(jī)讀刻剥、追加寫，不需要處理隨機(jī)寫滩字、加鎖造虏、數(shù)據(jù)一致性等問(wèn)題御吞，因此大大簡(jiǎn)化了存儲(chǔ)系統(tǒng)的設(shè)計(jì)。但是batch layer對(duì)數(shù)據(jù)處理的延遲是很大的漓藕，通常是幾個(gè)小時(shí)到幾天陶珠。
Speed Layer
Speed layer的職責(zé)是滿足所有實(shí)時(shí)性處理的需求。
Speed layer通诚沓基于Storm這樣的流式計(jì)算平臺(tái)揍诽，通過(guò)快速的增量式算法，以分鐘級(jí)栗竖、秒級(jí)甚至毫秒級(jí)來(lái)讀取暑脆、分析、保存數(shù)據(jù)划滋。對(duì)于存儲(chǔ)系統(tǒng)饵筑，由于需要支持持續(xù)的update操作，其設(shè)計(jì)要復(fù)雜的多处坪。為了簡(jiǎn)化問(wèn)題根资，通常使用劃窗機(jī)制來(lái)保存一段時(shí)間的數(shù)據(jù)，劃窗的時(shí)間一般和batch layer的數(shù)據(jù)處理一致同窘。
流式處理往往使用內(nèi)存計(jì)算玄帕，這意味著當(dāng)出現(xiàn)異常（比如升級(jí)或工作節(jié)點(diǎn)異常）時(shí)，可能會(huì)導(dǎo)致數(shù)據(jù)的丟失或計(jì)算結(jié)果錯(cuò)誤想邦。然而裤纹，Lambda Architecture卻不需要過(guò)多考慮這類問(wèn)題，因?yàn)橄乱淮蝏atch layer的作業(yè)會(huì)再次處理所有數(shù)據(jù)并獲得準(zhǔn)確的結(jié)果丧没。
Serving Layer
Serving layer的職責(zé)是將speed layer輸出數(shù)據(jù)merge到batch layer輸出數(shù)據(jù)上鹰椒，從而得到一份完整的輸出數(shù)據(jù)，并保存到諸如HBASE這樣的NoSQL數(shù)據(jù)庫(kù)中呕童，以服務(wù)于在線檢索應(yīng)用漆际。在batch計(jì)算結(jié)果之上meger少量實(shí)時(shí)數(shù)據(jù)，其結(jié)果同完全使用batch計(jì)算相比夺饲，具有很好的近似性奸汇。
Lambda Architecture的收益
Lambda Architecture帶來(lái)了如下收益：
- 算法可以同時(shí)分析歷史數(shù)據(jù)和短期實(shí)時(shí)數(shù)據(jù)，兼顧了準(zhǔn)確性和實(shí)時(shí)性
- 向存儲(chǔ)介質(zhì)的隨機(jī)寫入大大減少了往声，提升了性能
- Batch Layer（在HDFS上）保存了原始數(shù)據(jù)擂找，可以避免人為錯(cuò)誤造成的數(shù)據(jù)損失
當(dāng)然，獲得這些收益也是有代價(jià)的浩销。Batch layer和speed layer事實(shí)上做了重復(fù)的計(jì)算贯涎。從資源的角度看，Lambda architecture消耗了更多的資源撼嗓。
Lambda Architecture在產(chǎn)品中的應(yīng)用案例
上圖是一個(gè)用戶畫像產(chǎn)品的大數(shù)據(jù)處理架構(gòu)的簡(jiǎn)化版本柬采，略去了和這個(gè)主題無(wú)關(guān)的部分欢唾。可以看到這個(gè)產(chǎn)品采用了典型的Lambda Architecture：
- Bigpipe百度自研的分布式流式數(shù)據(jù)傳輸系統(tǒng)粉捻，實(shí)時(shí)傳輸在線系統(tǒng)的日志礁遣，下游可以通過(guò)訂閱的方式來(lái)獲取數(shù)據(jù)。Bigpipe保證數(shù)據(jù)在傳輸過(guò)程中不重不丟肩刃。
- Data Warehouse是基于HDFS的數(shù)據(jù)倉(cāng)庫(kù)祟霍，保存收到的所有原始數(shù)據(jù)。
- Batch layer：一系列的Hadoop App完成用戶特征的挖掘盈包，App之間通過(guò)HDFS來(lái)交換數(shù)據(jù)沸呐。Batch layer每天運(yùn)行一次，數(shù)據(jù)的延遲是一天呢燥。
- Speed layer：利用百度自研的DStream實(shí)時(shí)流式計(jì)算平臺(tái)崭添，完成當(dāng)天用戶特征的實(shí)時(shí)挖掘。
- MolaDB是百度自研的一個(gè)面向在線業(yè)務(wù)的低延遲KV數(shù)據(jù)庫(kù)叛氨，存儲(chǔ)挖掘后用戶特征呼渣，并為在線系統(tǒng)提供服務(wù)。
- Search Router是在線業(yè)務(wù)的檢索入口寞埠，根據(jù)在線業(yè)務(wù)的檢索請(qǐng)求查詢MolaDB屁置。
通過(guò)采用Lambda Architecture，即實(shí)現(xiàn)了海量用戶畫像數(shù)據(jù)的實(shí)時(shí)處理仁连，同時(shí)也最大限度的保證了系統(tǒng)的可靠性蓝角。
參考資料
- [Lambda Architecture][1]
- [Lambda Architecture: Achieving Velocity and Volume with Big Data][2]
[1]: https://www.mapr.com/developercentral/lambda-architecture
[2]: http://www.semantikoz.com/blog/lambda-architecture-velocity-volume-big-data-hadoop-storm/
