你知道被認(rèn)為繼MapReduce绢记、GFS、BigQuery等之后若厚，Google在大數(shù)據(jù)處理領(lǐng)域?qū)﹂_(kāi)源社區(qū)的又一大貢獻(xiàn)是哪個(gè)項(xiàng)目嗎夷野？答案是ApacheBeam。事實(shí)上拇泛，“Beam”這個(gè)項(xiàng)目名稱已經(jīng)很清楚地表明了它的設(shè)計(jì)初衷——統(tǒng)一批處理（Batch）模式和數(shù)據(jù)流（Stream）處理模式的標(biāo)準(zhǔn)滨巴。今天，請(qǐng)跟隨大圣眾包威客平臺(tái)（www.dashengzb.cn）的腳步俺叭，一起了解ApacheBeam到底有多炫恭取！

一、ApacheBeam的用途與優(yōu)勢(shì)

原名GoogleDataFlow的ApacheBeam熄守，是Google在2016年2月貢獻(xiàn)給Apache基金會(huì)的Apache孵化項(xiàng)目蜈垮。基于一種統(tǒng)一的模式的ApacheBeam裕照，是用于定義和執(zhí)行數(shù)據(jù)并行處理管道（pipeline）的攒发，這些管理隨帶一套針對(duì)特定語(yǔ)言的SDK用于構(gòu)建管道，以及針對(duì)特定運(yùn)行時(shí)環(huán)境的Runner用于執(zhí)行管道晋南。

ApacheBeam項(xiàng)目的重點(diǎn)惠猿，在于數(shù)據(jù)處理的編程范式和接口定義，事實(shí)上负间，它并不涉及具體的執(zhí)行引擎的實(shí)現(xiàn)偶妖，而且姜凄，能夠基于Beam開(kāi)發(fā)的數(shù)據(jù)處理程序可以執(zhí)行在任意的分布式計(jì)算引擎上，也是它的目標(biāo)趾访。綜上态秧，統(tǒng)一批處理和流處理的編程范式是ApacheBeam的主要目標(biāo)，因?yàn)檫@樣能夠?yàn)闊o(wú)限扼鞋、亂序屿聋、web-scale的數(shù)據(jù)集處理提供簡(jiǎn)單靈活、功能豐富以及表達(dá)能力十分強(qiáng)大的SDK藏鹊。

二、BeamModel4招教會(huì)用戶進(jìn)行數(shù)據(jù)處理

ApacheBeam转锈，能夠在Java中提供統(tǒng)一的數(shù)據(jù)進(jìn)程管道開(kāi)發(fā)盘寡，而且能夠很好地支持Spark和Flink。由于ApacheBeam提供了很多在線框架撮慨，所以開(kāi)發(fā)者也就無(wú)需學(xué)習(xí)太多框架竿痰。同時(shí)，它也提供了一個(gè)模板更方便用戶去進(jìn)行數(shù)據(jù)處理——BeamModel砌溺。我們都知道影涉，無(wú)限的時(shí)間亂序數(shù)據(jù)流，是BeamModel處理的目標(biāo)數(shù)據(jù)规伐，不考慮時(shí)間順序或是有限的數(shù)據(jù)集可看作是無(wú)限亂序數(shù)據(jù)流的一個(gè)特例蟹倾。而用戶只需要在Model的每一步中根據(jù)業(yè)務(wù)需求，按照以下幾個(gè)維度調(diào)用具體的API猖闪，即可生成分布式數(shù)據(jù)處理Pipeline鲜棠，并提交到具體執(zhí)行引擎上執(zhí)行。這幾個(gè)維度抽象出來(lái)培慌，便是BeamSDK豁陆。

那么，到底用戶在進(jìn)行數(shù)據(jù)處理時(shí)吵护，需考慮哪幾個(gè)維度的問(wèn)題呢盒音？

1.是什么——如何對(duì)數(shù)據(jù)進(jìn)行計(jì)算

例如，Sum馅而、Join或是機(jī)器學(xué)習(xí)中的訓(xùn)練學(xué)習(xí)模型等祥诽。在BeamSDK中由Pipeline中的操作符指定。

2.在哪里——數(shù)據(jù)在什么范圍中計(jì)算

例如用爪，基于Process-Time的時(shí)間窗口原押，基于Event-Time的時(shí)間窗口，滑動(dòng)窗口等等偎血。在BeamSDK中由Pipeline中的窗口指定诸衔。

3.什么時(shí)候——何時(shí)將計(jì)算結(jié)果輸出

例如盯漂，在1小時(shí)的Event-Time時(shí)間窗口中，每隔1分鐘笨农，將當(dāng)前窗口計(jì)算結(jié)果輸出就缆。在BeamSDK中由Pipeline中的Watermark和觸發(fā)器指定。

4.怎樣處理——遲到數(shù)據(jù)如何處理

例如谒亦，將遲到數(shù)據(jù)計(jì)算增量結(jié)果輸出竭宰，或是將遲到數(shù)據(jù)計(jì)算結(jié)果和窗口內(nèi)數(shù)據(jù)計(jì)算結(jié)果合并成全量結(jié)果輸出。在BeamSDK中由Accumulation指定份招。

三切揭、BeamSDK的主要概念

將上文提及的4個(gè)維度抽象出來(lái)，便是BeamSDK锁摔。值得一提的是廓旬，這幾個(gè)維度的抽象僅僅關(guān)注業(yè)務(wù)邏輯本身，和分布式任務(wù)如何執(zhí)行沒(méi)有任何關(guān)系谐腰。那么孕豹，關(guān)于ApacheBeamSDK有哪4個(gè)主要概念呢？更多大數(shù)據(jù)與商業(yè)智能領(lǐng)域干貨十气、兼職機(jī)會(huì)及行業(yè)資源分享等励背，請(qǐng)關(guān)注“大圣眾包”微博，或添加大圣妹個(gè)人微信號(hào)“dashengmeme”砸西。

1.Pipeline

這有點(diǎn)類(lèi)似于SparkContext叶眉。你所有的操作將開(kāi)始于調(diào)度對(duì)象,你會(huì)用它來(lái)從輸入源建立數(shù)據(jù)流,應(yīng)用轉(zhuǎn)換,并將結(jié)果寫(xiě)入輸出下沉。

2.PCollection

類(lèi)似于原始的Spark的彈性分布式數(shù)據(jù)集（RDD）,PCollections包含一個(gè)潛在的無(wú)限數(shù)據(jù)流芹枷。這些信息都來(lái)源于輸入源竟闪，然后應(yīng)用轉(zhuǎn)換。

3.Transforms

一個(gè)操作PCollection處理步驟執(zhí)行數(shù)據(jù)操作杖狼。典型的傳遞途徑可能會(huì)在一個(gè)輸入源有多個(gè)轉(zhuǎn)換操作（例如炼蛤，將一組日志條目傳入的字符串轉(zhuǎn)換成一個(gè)鍵/值對(duì)，關(guān)鍵是IP地址和值是日志消息）蝶涩。它由BeamSDK附帶的一系列標(biāo)準(zhǔn)聚合建成理朋，當(dāng)然，也可以定義根據(jù)自己的處理需求自定義绿聘。

4.I/Osourcesandsinks

源和匯為你的數(shù)據(jù)提供輸入和輸出端點(diǎn)嗽上。

（更多大數(shù)據(jù)與商業(yè)智能領(lǐng)域干貨、或電子書(shū)熄攘，可添加個(gè)人微信號(hào)（dashenghuaer))