//
2015 Bossie評選：最佳開源大數(shù)據工具-CSDN.NET
http://www.csdn.net/article/2015-10-20/2825959
ddply
摘要：Bossie獎是知名英文IT網站InfoWorld針對開源軟件頒發(fā)的年度獎項迷捧，根據這些軟件對開源界的貢獻，以及在業(yè)界的影響力評判獲獎對象垃它。本次InfoWorld評選出了22款最佳的開源大數(shù)據工具碱妆，像Spark肉盹、Storm都名列榜單之上。
InfoWorld在分布式數(shù)據處理疹尾、流式數(shù)據分析上忍、機器學習以及大規(guī)模數(shù)據分析領域精選出了2015年的開源工具獲獎者，下面我們來簡單介紹下這些獲獎的技術工具纳本。
-
Spark
在Apache的大數(shù)據項目中窍蓝，Spark是最火的一個，特別是像IBM這樣的重量級貢獻者的深入參與繁成，使得Spark的發(fā)展和進步速度飛快吓笙。
與Spark產生最甜蜜的火花點仍然是在機器學習領域。去年以來DataFrames API取代SchemaRDD API巾腕，類似于R和Pandas的發(fā)現(xiàn)面睛，使數(shù)據訪問比原始RDD接口更簡單。
Spark的新發(fā)展中也有新的為建立可重復的機器學習的工作流程尊搬，可擴展和可優(yōu)化的支持各種存儲格式叁鉴，更簡單的接口來訪問機器學習算法，改進的集群資源的監(jiān)控和任務跟蹤佛寿。
在Spark1.5的默認情況下幌墓，TungSten內存管理器通過微調在內存中的數(shù)據結構布局提供了更快速的處理能力。最后，新的spark-packages.org網站上有超過100個第三方貢獻的鏈接庫擴展常侣，增加了許多有用的功能蜡饵。 -
Storm
Storm是Apache項目中的一個分布式計算框架項目，主要應用于流式數(shù)據實時處理領域袭祟。他基于低延時交互模式理念验残，以應對復雜的事件處理需求捞附。和Spark不同巾乳，Storm可以進行單點隨機處理，而不僅僅是微批量任務鸟召，并且對內存的需求更低胆绊。在我的經驗中，他對于流式數(shù)據處理更有優(yōu)勢欧募，特別是當兩個數(shù)據源之間的數(shù)據快速傳輸過程中压状，需要對數(shù)據進行快速處理的場景。
Spark掩蓋了很多Storm的光芒跟继，但其實Spark在很多流失數(shù)據處理的應用場景中并不適合种冬。Storm經常和Apache Kafka一起配合使用。 -
Kylin
Apache Kylin由eBay研發(fā)并在2014年10月貢獻給開源社區(qū)舔糖，于2014年11月加入Aapche孵化器項目娱两，目前正在為畢業(yè)成Apache頂級項目投票中。整個開發(fā)團隊都在eBay CCOE中國卓越中心金吗，負責并主導Kylin產品的設計和研發(fā)十兢。目前Kylin在eBay內部已經部署了非常大的應用平臺，最大的單個Cube包含超過800億條數(shù)據摇庙，系統(tǒng)中90%以上的查詢響應小于5秒旱物。這是eBay貢獻至Apache軟件基金會的第一個項目，也是第一個由中國開發(fā)團隊完整開發(fā)并貢獻至Apache軟件基金會的第一個項目卫袒。目前Kylin社區(qū)已經發(fā)展了包括來自美團宵呛，明略數(shù)據等多位committer。
Apache Kylin（麒麟）由eBay公司開發(fā)夕凝，和大多數(shù)數(shù)據分析任務相類似宝穗，是一個通過ANSI-SQL解決超大OLAP數(shù)據立方體問題的應用程序。如果想象下eBay在過去和現(xiàn)在有多少在售商品的數(shù)量迹冤，以及eBay期望對這些物品相關的數(shù)據進行交叉分析讽营，你就能夠明白Kylin是為解決哪種類型的問題所設計的了。
和大部分其他數(shù)據分析應用一樣泡徙，Kylin支持包括JDBC橱鹏、ODBC，并為編程訪問提供REST接口等多種訪問方式。盡管Kylin還是Apache的孵化項目莉兰，并且社區(qū)也建立不久挑围，但該項目具備相當?shù)陌l(fā)展前景，開發(fā)團隊渴望理解客戶的使用案例糖荒，并對此做出積極的響應杉辙。運營并完善一個初創(chuàng)的數(shù)據立方體其實易如反掌，如果你在超大規(guī)模數(shù)據集的分析方面有需求的話捶朵，來關注Kylin吧蜘矢！
-
H2O
H2O是一種分布式的內存處理引擎用于機器學習，它擁有一個令人印象深刻的數(shù)組的算法综看。早期版本僅僅支持R語言品腹，3.0版本開始支持Python和Java語言，同時它也可以作為Spark在后端的執(zhí)行引擎红碑。
使用H2O的最佳方式是把它作為R環(huán)境的一個大內存擴展舞吭，R環(huán)境并不直接作用于大的數(shù)據集，而是通過擴展通訊協(xié)議例如REST API與H2O集群通訊析珊，H2O來處理大量的數(shù)據工作羡鸥。
幾個有用的R擴展包，如ddply已經被打包忠寻，允許你在處理大規(guī)模數(shù)據集時惧浴，打破本地機器上內存容量的限制。你可以在EC2上運行H2O锡溯，或者Hadoop集群/YARN集群赶舆，或者Docker容器。用蘇打水（Spark+ H2O）你可以訪問在集群上并行的訪問Spark RDDS祭饭，在數(shù)據幀被Spark處理后芜茵。再傳遞給一個H2O的機器學習算法。 -
Apex
Apex是一個企業(yè)級的大數(shù)據動態(tài)處理平臺倡蝙，即能夠支持即時的流式數(shù)據處理九串，也可以支持批量數(shù)據處理。它可以是一個YARN的原生程序寺鸥，能夠支持大規(guī)模猪钮、可擴展、支持容錯方法的流式數(shù)據處理引擎胆建。它原生的支持一般事件處理并保證數(shù)據一致性（精確一次處理烤低、最少一次、最多一次）
以前DataTorrent公司開發(fā)的基于Apex的商業(yè)處理軟件笆载，其代碼扑馁、文檔及架構設計顯示涯呻，Apex在支持DevOps方面能夠把應用開發(fā)清楚的分離，用戶代碼通常不需要知道他在一個流媒體處理集群中運行腻要。
Malhar是一個相關項目复罐，提供超過300種常用的實現(xiàn)共同的業(yè)務邏輯的應用程序模板。Malhar的鏈接庫可以顯著的減少開發(fā)Apex應用程序的時間雄家，并且提供了連接各種存儲效诅、文件系統(tǒng)、消息系統(tǒng)趟济、數(shù)據庫的連接器和驅動程序乱投。并且可以進行擴展或定制，以滿足個人業(yè)務的要求咙好。所有的malhar組件都是Apache許可下使用篡腌。 -
Druid
Druid在今年二月轉為了商業(yè)友好的Apache許可證，是一個基于“事件流的混合引擎勾效，能夠滿足OLAP解決方案。最初他主要應用于廣告市場的在線數(shù)據處理領域叛甫，德魯伊可以讓用戶基于時間序列數(shù)據做任意和互動的分析层宫。一些關鍵的功能包括低延遲事件處理，快速聚合其监，近似和精確的計算萌腿。
Druid的核心是一個使用專門的節(jié)點來處理每個部分的問題自定義的數(shù)據存儲。實時分析基于實時管理（JVM）節(jié)點來處理抖苦，最終數(shù)據會存儲在歷史節(jié)點中負責老的數(shù)據毁菱。代理節(jié)點直接查詢實時和歷史節(jié)點，給用戶一個完整的事件信息锌历。測試表明50萬事件數(shù)據能夠在一秒內處理完成贮庞，并且每秒處理能力可以達到100萬的峰值，Druid作為在線廣告處理究西、網絡流量和其他的活動流的理想實時處理平臺窗慎。 -
Flink
Flink的核心是一個事件流數(shù)據流引擎。雖然表面上類似Spark卤材，實際上Flink是采用不同的內存中處理方法的遮斥。首先，F(xiàn)link從設計開始就作為一個流處理器扇丛。批處理只是一個具有開始和結束狀態(tài)的流式處理的特殊情況术吗，F(xiàn)link提供了API來應對不同的應用場景，無論是API（批處理）和數(shù)據流API帆精。MapReduce的世界的開發(fā)者們在面對DataSet處理API時應該有賓至如歸的感覺较屿，并且將應用程序移植到Flink非常容易材蹬。在許多方面，F(xiàn)link和Spark一樣吝镣，其的簡潔性和一致性使他廣受歡迎堤器。像Spark一樣，F(xiàn)link是用Scala寫的末贾。
-
Elasticsearch
8
Elasticsearch是基于Apache Lucene搜索分布式文件服務器闸溃。它的核心，Elasticsearch基于JSON格式的近乎實時的構建了數(shù)據索引拱撵，能夠實現(xiàn)快速全文檢索功能辉川。結合開源Kibana BI顯示工具，您可以創(chuàng)建令人印象深刻的數(shù)據可視化界面拴测。
Elasticsearch易于設置和擴展乓旗，他能夠自動根據需要使用新的硬件來進行分片。他的查詢語法和SQL不太一樣集索，但它也是大家很熟悉的JSON屿愚。大多數(shù)用戶不會在那個級別進行數(shù)據交互。開發(fā)人員可以使用原生JSON-over-HTTP接口或常用的幾個開發(fā)語言進行交互务荆，包括Ruby妆距，Python，PHP函匕，Perl娱据，Java，JavaScript等盅惜。 -
SlamData
如果你正在尋找一個用戶友好的工具中剩，能理解最新流行的NoSQL數(shù)據的可視化工具，那么你應該看一看SlamData抒寂。SlamData允許您用熟悉的SQL語法來進行JSON數(shù)據的嵌套查詢结啼，不需要轉換或語法改造。
該技術的主要特點之一是它的連接器蓬推。從MongoDB妆棒，HBase，Cassandra和Apache的Spark沸伏，SlamData同大多數(shù)業(yè)界標準的外部數(shù)據源可以方便的進行整合糕珊，并進行數(shù)據轉換和分析數(shù)據。你可能會問：“我不會有更好的數(shù)據池或數(shù)據倉庫工具嗎毅糟？請認清這是在NoSQL領域红选。 -
Drill
Drill是一種用于大型數(shù)據集的交互分析的分布式系統(tǒng)，由谷歌的Dremel催生姆另。Drill專為嵌套數(shù)據的低延遲分析設計喇肋，它有一個明確的設計目標坟乾，靈活的擴展到10000臺服務器來處理查詢記錄數(shù)據，并支持兆級別的數(shù)據記錄蝶防。
嵌套的數(shù)據可以從各種數(shù)據源獲得的（如HDFS甚侣，HBase，Amazon S3间学，和Blobs）和多種格式（包括JSON殷费，Avro，和buffers）低葫，你不需要在讀取時指定一個模式（“讀時模式”）详羡。
Drill使用ANSI 2003 SQL的查詢語言為基礎，所以數(shù)據工程師是沒有學習壓力的嘿悬，它允許你連接查詢數(shù)據并跨多個數(shù)據源（例如实柠，連接HBase表和在HDFS中的日志）。最后善涨，Drill提供了基于ODBC和JDBC接口以和你所喜歡的BI工具對接窒盐。 -
HBASE
HBase在今年的里程碑達到1.X版本并持續(xù)改善。像其他的非關系型的分布式數(shù)據存儲一樣躯概，HBase的查詢結果反饋非常迅速登钥，因此擅長的是經常用于后臺搜索引擎，如易趣網娶靡，博科和雅虎等網站。作為一個穩(wěn)定的看锉、成熟的軟件產品姿锭，HBase新鮮的功能并不是經常出現(xiàn)，但這種穩(wěn)定性往往是企業(yè)最關心的伯铣。
最近的改進包括增加區(qū)域服務器改進高可用性呻此，滾動升級支持，和YARN的兼容性提升腔寡。在他的特性更新方面包括掃描器更新焚鲜，保證提高性能，使用HBase作為流媒體應用像Storm和Spark持久存儲的能力放前。HBase也可以通過Phoenix項目來支持SQL查詢忿磅，其SQL兼容性在穩(wěn)步提高。Phoenix最近增加了一個Spark連接器凭语，添加了自定義函數(shù)的功能葱她。 -
Hive
隨著Hive過去多年的發(fā)展，逐步成熟似扔，今年發(fā)布了1.0正式版本吨些，它用于基于SQL的數(shù)據倉庫領域搓谆。目前基金會主要集中在提升性能、可擴展性和SQL兼容性豪墅。最新的1.2版本顯著的提升了ACID語意兼容性泉手、跨數(shù)據中心復制，以及以成本為基礎的優(yōu)化器偶器。
Hive1.2也帶來了改進的SQL的兼容性斩萌，使組織利用它更容易的把從現(xiàn)有的數(shù)據倉庫通過ETL工具進行轉移。在規(guī)劃中講主要改進：以內存緩存為核心的速度改進 LLAP状囱，Spark的機器學習庫的集成术裸，提高SQL的前嵌套子查詢、中間類型支持等亭枷。 -
CDAP
CDAP（Cask Data Access Platform）是一個在Hadoop之上運行的框架袭艺，抽象了建造和運行大數(shù)據應用的復雜性。CDAP圍繞兩個核心概念：數(shù)據和應用程序叨粘。CDAP數(shù)據集是數(shù)據的邏輯展現(xiàn)猾编，無論底層存儲層是什么樣的；CDAP提供實時數(shù)據流處理能力升敲。
應用程序使用CDAP服務來處理諸如分布式事務和服務發(fā)現(xiàn)等應用場景答倡，避免程序開發(fā)者淹沒在Hadoop的底層細節(jié)中。CDAP自帶的數(shù)據攝取框架和一些預置的應用和一些通用的“包”驴党，例如ETL和網站分析瘪撇，支持測試，調試和安全等港庄。和大多數(shù)原商業(yè)（閉源）項目開源一樣倔既，CDAP具有良好的文檔，教程鹏氧，和例子渤涌。 -
Ranger
安全一直是Hadoop的一個痛處。它不是說（像是經常報道）Hadoop是“不安全”或“不安全”把还。事實是实蓬，Hadoop有很多的安全功能，雖然這些安全功能都不太強大吊履。我的意思是安皱，每一個組件都有它自己的身份驗證和授權實施，這與其他的平臺沒有集成率翅。
2015年5月练俐，Hortonworks收購XA /安全，隨后經過了改名后冕臭，我們有了Ranger腺晾。Ranger使得許多Hadoop的關鍵部件處在一個保護傘下燕锥，它允許你設置一個“策略”，把你的Hadoop安全綁定到到您現(xiàn)有的ACL基于活動目錄的身份驗證和授權體系下悯蝉。Ranger給你一個地方管理Hadoop的訪問控制归形，通過一個漂亮的頁面來做管理、審計鼻由、加密暇榴。 -
Mesos
Mesos提供了高效、跨分布式應用程序和框架的資源隔離和共享蕉世，支持Hadoop蔼紧、 MPI、Hypertable狠轻、Spark等奸例。
Mesos是Apache孵化器中的一個開源項目，使用ZooKeeper實現(xiàn)容錯復制向楼，使用Linux Containers來隔離任務查吊，支持多種資源計劃分配（內存和CPU）。提供Java湖蜕、Python和C++ APIs來開發(fā)新的并行應用程序逻卖，提供基于Web的用戶界面來提查看集群狀態(tài)。
Mesos應用程序（框架）為群集資源協(xié)調兩級調度機制昭抒，所以寫一個Mesos應用程序對程序員來說感覺不像是熟悉的體驗评也。雖然Mesos是新的項目，成長卻很快灭返。 -
NiFi
Apache NiFi 0.2.0 發(fā)布了仇参，該項目目前還處于 Apache 基金會的孵化階段。Apache NiFi 是一個易于使用婆殿、功能強大而且可靠的數(shù)據處理和分發(fā)系統(tǒng)。Apache NiFi 是為數(shù)據流設計罩扇。它支持高度可配置的指示圖的數(shù)據路由婆芦、轉換和系統(tǒng)中介邏輯。
Apache NiFi是由美國過國家安全局(NSA)貢獻給Apache基金會的開源項目喂饥，其設計目標是自動化系統(tǒng)間的數(shù)據流消约。基于其工作流式的編程理念员帮，NiFi非常易于使用或粮，強大，可靠及高可配置捞高。兩個最重要的特性是其強大的用戶界面及良好的數(shù)據回溯工具氯材。
NiFi的用戶界面允許用戶在瀏覽器中直觀的理解并與數(shù)據流舉行交互渣锦，更快速和安全的進行迭代。
其數(shù)據回溯特性允許用戶查看一個對象如何在系統(tǒng)間流轉氢哮，回放以及可視化關鍵步驟之前之后發(fā)生的情況袋毙，包括大量復雜的圖式轉換，fork冗尤，join及其他操作等听盖。
另外，NiFi使用基于組件的擴展模型以為復雜的數(shù)據流快速增加功能裂七，開箱即用的組件中處理文件系統(tǒng)的包括FTP皆看，SFTP及HTTP等，同樣也支持HDFS背零。
NiFi獲得來來自業(yè)界的一致好評腰吟，包括Hortonworks CEO，Leverage CTO及Prescient Edge首席系統(tǒng)架構師等捉兴。 -
Kafka
在大數(shù)據領域蝎困，Kafka已經成為分布式發(fā)布訂閱消息的事實標準。它的設計允許代理支持成千上萬的客戶在信息吞吐量告訴處理時倍啥，同時通過分布式提交日志保持耐久性禾乘。Kafka是通過在HDFS系統(tǒng)上保存單個日志文件，由于HDFS是一個分布式的存儲系統(tǒng)虽缕，使數(shù)據的冗余拷貝始藕，因此Kafka自身也是受到良好保護的。
當消費者想讀消息時氮趋，Kafka在中央日志中查找其偏移量并發(fā)送它們伍派。因為消息沒有被立即刪除，增加消費者或重發(fā)歷史信息不產生額外消耗剩胁。Kafka已經為能夠每秒發(fā)送2百萬個消息诉植。盡管Kafka的版本號是sub-1.0，但是其實Kafka是一個成熟昵观、穩(wěn)定的產品晾腔，使用在一些世界上最大的集群中。
18.OpenTSDB
opentsdb是建立在時間序列基礎上的HBase數(shù)據庫啊犬。它是專為分析從應用程序灼擂，移動設備，網絡設備觉至，和其他硬件設備收集的數(shù)據剔应。它自定義HBase架構用于存儲時間序列數(shù)據，被設計為支持快速聚合和最小的存儲空間需求。
通過使用HBase作為底層存儲層峻贮，opentsdb很好的支持分布與系統(tǒng)可靠性的特點席怪。用戶不與HBase的直接互動；而數(shù)據寫入系統(tǒng)是通過時間序列的守護進程（TSD）來管理月洛，它可以方便的擴展用于需要高速處理數(shù)據量的應用場景何恶。有一些預制連接器將數(shù)據發(fā)布到opentsdb，并且支持從Ruby嚼黔，Python以及其他語言的客戶端讀取數(shù)據细层。opentsdb并不擅長交互式圖形處理，但可以和第三方工具集成唬涧。如果你已經在使用HBase和想要一個簡單的方法來存儲事件數(shù)據疫赎，opentsdb也許正好適合你。 -
Jupyter
大家最喜歡的筆記應用程序都走了碎节。jupyter是“IPython”剝離出來成為一個獨立的軟件包的語言無關的部分。雖然jupyter本身是用Python寫的胎撇，該系統(tǒng)是模塊化的⊥硎鳎現(xiàn)在你可以有一個和iPython一樣的界面爵憎，在筆記本電腦中方便共享代碼宝鼓，使得文檔和數(shù)據可視化巴刻。
至少已經支持50個語言的內核胡陪，包括Lisp督弓，R愚隧，F(xiàn) #狂塘，Perl荞胡，Ruby，Scala等廊营。事實上即使IPython本身也只是一個jupyter Python模塊露筒。通過REPL（讀慎式，評價瘪吏，打印循環(huán)）語言內核通信是通過協(xié)議掌眠，類似于nrepl或Slime扇救。很高興看到這樣一個有用的軟件迅腔，得到了顯著的非營利組織資助沧烈，以進一步發(fā)展锌雀，如并行執(zhí)行和多用戶筆記本應用腋逆。 - Zeppelin
Zeppelin是一個Apache的孵化項目. 一個基于web的筆記本惩歉，支持交互式數(shù)據分析上遥。你可以用SQL粉楚、Scala等做出數(shù)據驅動的亮垫、交互、協(xié)作的文檔撵摆。(類似于ipython notebook特铝，可以直接在瀏覽器中寫代碼鲫剿、筆記并共享)灵莲。
一些基本的圖表已經包含在Zeppelin中政冻。可視化并不只限于SparkSQL查詢李丰，后端的任何語言的輸出都可以被識別并可視化趴泌。 Zeppelin 提供了一個 URL 用來僅僅展示結果秃励，那個頁面不包括 Zeppelin 的菜單和按鈕吉捶。這樣，你可以輕易地將其作為一個iframe集成到你的網站。
Zeppelin還不成熟榄审。我想把一個演示搁进，但找不到一個簡單的方法來禁用“Shell”作為一個執(zhí)行選項（在其他事情）饼问。然而莱革，它已經看起來的視覺效果比IPython筆記本應用更好，Apache Zeppelin (孵化中) 是 Apache2 許可軟件旦万。提供100%的開源。
原文鏈接： Bossie Awards 2015: The best open source big data tools（譯者/張曉東 審校/朱正貴 責編/仲浩）
譯者簡介：張曉東赏半， 引跑科技副總裁断箫，關注云計算領域瑰枫。
