Google 之前貢獻(xiàn)給 Apache 基金會(huì)的大數(shù)據(jù)引擎 Beam撒顿,目前已經(jīng)完成孵化,上升到一級(jí)項(xiàng)目挨决,網(wǎng)址: https://beam.apache.org/
Apache Beam 稱自己是一個(gè)高級(jí)的統(tǒng)一編程模型,可用于批處理或流失數(shù)據(jù)處理作業(yè)。你可以用它來(lái)創(chuàng)建一個(gè)數(shù)據(jù)處理管線兔沃,完成各種大并發(fā)的處理任務(wù)。
Apache Beam 目前支持 4 種后端 runner级及,分別為 Apache Apex乒疏、Apache Flink、Apache Spark饮焦,以及 Google Cloud Dataflow怕吴,均處于研發(fā)階段。
目前支持的開(kāi)發(fā)語(yǔ)言僅有 Java 一種县踢,正處于活躍開(kāi)發(fā)中转绷。第二個(gè)將被支持的開(kāi)發(fā)語(yǔ)言為 Python,即將面世硼啤。
據(jù)說(shuō)這個(gè)引擎對(duì)機(jī)器學(xué)習(xí)的支持也不錯(cuò)议经,感興趣的讀者可以開(kāi)始嘗鮮了。Quickstart 鏈接: https://beam.apache.org/get-started/quickstart/