當前催首，整個互聯(lián)網(wǎng)正在從IT時代向DT時代演進混滔，大數(shù)據(jù)技術(shù)也正在助力企業(yè)和公眾敲開DT世界大門。當今“大數(shù)據(jù)”一詞的重點其實已經(jīng)不僅在于數(shù)據(jù)規(guī)模的定義裳扯，它更代表著信息技術(shù)發(fā)展進入了一個新的時代澄耍，代表著爆炸性的數(shù)據(jù)信息給傳統(tǒng)的計算技術(shù)和信息技術(shù)帶來的技術(shù)挑戰(zhàn)和困難噪珊，代表著大數(shù)據(jù)處理所需的新的技術(shù)和方法，也代表著大數(shù)據(jù)分析和應(yīng)用所帶來的新發(fā)明齐莲、新服務(wù)和新的發(fā)展機遇痢站。

　　為了幫助大家更好深入了解大數(shù)據(jù)，云棲社區(qū)組織翻譯了GitHub Awesome Big Data資源选酗，供大家參考阵难。本資源類型主要包括：大數(shù)據(jù)框架、論文等實用資源集合芒填。\

資源列表：

關(guān)系數(shù)據(jù)庫管理系統(tǒng)(RDBMS)

　　MySQL：世界最流行的開源數(shù)據(jù)庫;

　　PostgreSQL：世界最先進的開源數(shù)據(jù)庫;

　　Oracle 數(shù)據(jù)庫：對象-關(guān)系型數(shù)據(jù)庫管理系統(tǒng)呜叫。

框架

????????Apache Hadoop：分布式處理架構(gòu)，結(jié)合了 MapReduce(并行處理)殿衰、YARN(作業(yè)調(diào)度)和HDFS(分布式文件系統(tǒng));

　　Tigon：高吞吐量實時流處理框架朱庆。

分布式編程

???????AddThis Hydra ：最初在AddThis上開發(fā)的分布式數(shù)據(jù)處理和存儲系統(tǒng);

　　AMPLab SIMR：用在Hadoop MapReduce v1上運行Spark;

　　Apache Beam：為統(tǒng)一的模型以及一套用于定義和執(zhí)行數(shù)據(jù)處理工作流的特定SDK語言;

　　Apache Crunch：一個簡單的Java API，用于執(zhí)行在普通的MapReduce實現(xiàn)時比較單調(diào)的連接闷祥、數(shù)據(jù)聚合等任務(wù);

　　Apache DataFu：由LinkedIn開發(fā)的針對Hadoop and 和Pig的用戶定義的函數(shù)集合;

　　Apache Flink：具有高性能的執(zhí)行時間和自動程序優(yōu)化;

　　Apache Gora：內(nèi)存中的數(shù)據(jù)模型和持久性框架;

　　Apache Hama：BSP(整體同步并行)計算框架;

　　Apache MapReduce ：在集群上使用并行娱颊、分布式算法處理大數(shù)據(jù)集的編程模型;

　　Apache Pig ：Hadoop中，用于處理數(shù)據(jù)分析程序的高級查詢語言;

　　Apache REEF ：用來簡化和統(tǒng)一低層大數(shù)據(jù)系統(tǒng)的保留性評估執(zhí)行框架;

　　Apache S4 ：S4中流處理與實現(xiàn)的框架;

　　Apache Spark ：內(nèi)存集群計算框架;

　　Apache Spark Streaming ：流處理框架蜀踏，同時是Spark的一部分;

　　Apache Storm ：Twitter流處理框架，也可用于YARN;

　　Apache Samza ：基于Kafka和YARN的流處理框架;

　　Apache Tez ：基于YARN掰吕，用于執(zhí)行任務(wù)中的復(fù)雜DAG(有向無環(huán)圖);

　　Apache Twill ：基于YARN的抽象概念果覆，用于減少開發(fā)分布式應(yīng)用程序的復(fù)雜度;

　　Cascalog：數(shù)據(jù)處理和查詢庫;

　　Cheetah ：在MapReduce之上的高性能、自定義數(shù)據(jù)倉庫;

　　Concurrent Cascading ：在Hadoop上的數(shù)據(jù)管理/分析框架;

　　Damballa Parkour ：用于Clojure的MapReduce庫;

　　Datasalt Pangool ：可選擇的MapReduce范例;

　　DataTorrent StrAM ：為實時引擎殖熟，用于以盡可能暢通的方式局待、最小的開支和對性能最小的影響，實現(xiàn)分布式、異步钳榨、實時的內(nèi)存大數(shù)據(jù)計算;

　　Facebook Corona ：為Hadoop做優(yōu)化處理舰罚，從而消除單點故障;

　　Facebook Peregrine ：MapReduce框架;

　　Facebook Scuba ：分布式內(nèi)存數(shù)據(jù)存儲;

　　Google Dataflow ：創(chuàng)建數(shù)據(jù)管道，以幫助其分析框架;

　　Netflix PigPen ：為MapReduce薛耻，用于編譯成Apache Pig;

　　Nokia Disco ：由Nokia開發(fā)的MapReduc獲取营罢、轉(zhuǎn)換和分析數(shù)據(jù);

　　Google MapReduce ：MapReduce框架;

　　Google MillWheel ：容錯流處理框架;

　　JAQL ：用于處理結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)工作的聲明性編程語言;

　　Kite ：為一組庫饼齿、工具饲漾、實例和文檔集，用于使在Hadoop的生態(tài)系統(tǒng)上建立系統(tǒng)更加容易;

　　Metamarkets Druid ：用于大數(shù)據(jù)集的實時e框架;

　　Onyx ：分布式云計算;

　　Pinterest Pinlater ：異步任務(wù)執(zhí)行系統(tǒng);

【大數(shù)據(jù)開發(fā)學(xué)習(xí)資料領(lǐng)取方式】：加入大數(shù)據(jù)技術(shù)學(xué)習(xí)交流扣扣群458345782缕溉，點擊加入群聊考传，私信管理員即可免費領(lǐng)取

　　Pydoop ：用于Hadoop的Python MapReduce和HDFS API;

　　Rackerlabs Blueflood ：多租戶分布式測度處理系統(tǒng);

　　Stratosphere ：通用集群計算框架;

　　Streamdrill ：用于計算基于不同時間窗口的事件流的活動，并找到最活躍的一個;

　　Tuktu ：易于使用的用于分批處理和流計算的平臺证鸥，通過Scala僚楞、 Akka和Play所建;

　　Twitter Scalding：基于Cascading，用于Map Reduce工作的Scala庫;

　　Twitter Summingbird ：在Twitter上使用Scalding和Storm串流MapReduce;

　　Twitter TSAR ：Twitter上的時間序列聚合器枉层。

分布式文件系統(tǒng)

　　Apache HDFS：在多臺機器上存儲大型文件的方式;

　　BeeGFS：以前是FhGFS泉褐，并行分布式文件系統(tǒng);

　　Ceph Filesystem：設(shè)計的軟件存儲平臺;

　　Disco DDFS：分布式文件系統(tǒng);

　　Facebook Haystack：對象存儲系統(tǒng);

　　Google Colossus：分布式文件系統(tǒng)(GFS2);

　　Google GFS：分布式文件系統(tǒng);

　　Google Megastore：可擴展的、高度可用的存儲;

　　GridGain：兼容GGFS返干、Hadoop內(nèi)存的文件系統(tǒng);

　　Lustre file system：高性能分布式文件系統(tǒng);

　　Quantcast File System QFS：開源分布式文件系統(tǒng);

　　Red Hat GlusterFS：向外擴展的附網(wǎng)存儲(Network-attached Storage)文件系統(tǒng);

　　Seaweed-FS：簡單的兴枯、高度可擴展的分布式文件系統(tǒng);

　　Alluxio：以可靠的存儲速率在跨集群框架上文件共享;

　　Tahoe-LAFS：分布式云存儲系統(tǒng);

文件數(shù)據(jù)模型

　　Actian Versant：商用的面向?qū)ο髷?shù)據(jù)庫管理系統(tǒng);

　　Crate Data：是一個開源的大規(guī)模可擴展的數(shù)據(jù)存儲矩欠，需要零管理模式;

　　Facebook Apollo：Facebook的Paxos算法财剖，類似于NoSQL數(shù)據(jù)庫;

　　jumboDB：基于Hadoop的面向文檔的數(shù)據(jù)存儲;

　　LinkedIn Espresso：可橫向擴展的面向文檔的NoSQL數(shù)據(jù)存儲;

　　MarkLogic：模式不可知的企業(yè)版NoSQL數(shù)據(jù)庫技術(shù);

　　MongoDB：面向文檔的數(shù)據(jù)庫系統(tǒng);

　　RavenDB：一個事務(wù)性的，開源文檔數(shù)據(jù)庫;

　　RethinkDB：支持連接查詢和群組依據(jù)等查詢的文檔型數(shù)據(jù)庫癌淮。

Key Map 數(shù)據(jù)模型

　　注意：業(yè)內(nèi)存在一些術(shù)語混亂躺坟，有兩個不同的東西都叫做“列式數(shù)據(jù)庫”。這里列出的有一些是圍繞“key-map”數(shù)據(jù)模型而建的分布式乳蓄、持續(xù)型數(shù)據(jù)庫咪橙，其中所有的數(shù)據(jù)都有(可能綜合了)鍵，并與映射中的鍵-值對相關(guān)聯(lián)虚倒。在一些系統(tǒng)中美侦，多個這樣的值映射可以與鍵相關(guān)聯(lián)，并且這些映射被稱為“列族”(具有映射值的鍵被稱為“列”)魂奥。

　　另一組也可稱為“列式數(shù)據(jù)庫”的技術(shù)因其存儲數(shù)據(jù)的方式而有別于前一組菠剩，它在磁盤上或在存儲器中——而不是以傳統(tǒng)方式，即所有既定鍵的鍵值都相鄰著耻煤、逐行存儲具壮。這些系統(tǒng)也彼此相鄰來存儲所有列值准颓，但是要得到給定列的所有值卻不需要以前那么繁復(fù)的工作。

　　前一組在這里被稱為“key map數(shù)據(jù)模型”棺妓，這兩者和Key-value 數(shù)據(jù)模型之間的界限是相當模糊的攘已。后者對數(shù)據(jù)模型有更多的存儲格式，可在列式數(shù)據(jù)庫中列出怜跑。若想了解更多關(guān)于這兩種模型的區(qū)分样勃，可閱讀Daniel Abadi的博客：Distinguishing two major types of Column Stores。

　　Apache Accumulo：內(nèi)置在Hadoop上的分布式鍵/值存儲;

　　Apache Cassandra：由BigTable授權(quán)妆艘，面向列的分布式數(shù)據(jù)存儲;

　　Apache HBase：由BigTable授權(quán)彤灶，面向列的分布式數(shù)據(jù)存儲;

　　Facebook HydraBase：Facebook所開發(fā)的HBase的衍化品;

　　Google BigTable：面向列的分布式數(shù)據(jù)存儲;

　　Google Cloud Datastore：為完全管理型的無模式數(shù)據(jù)庫，用于存儲在BigTable上非關(guān)系型數(shù)據(jù);

　　Hypertable：由BigTable授權(quán)批旺，面向列的分布式數(shù)據(jù)存儲;

　　InfiniDB：通過MySQL的接口訪問幌陕，并使用大規(guī)模并行處理進行并行查詢;

　　Tephra：用于HBase處理;

　　Twitter Manhattan：Twitter的實時、多租戶分布式數(shù)據(jù)庫汽煮。

鍵-值數(shù)據(jù)模型

　　Aerospike：支持NoSQL的閃存優(yōu)化搏熄，數(shù)據(jù)存儲在內(nèi)存。開源暇赤，“'C'(不是Java或Erlang)中的服務(wù)器代碼可精確地調(diào)整從而避免上下文切換和內(nèi)存拷貝”心例。

　　Amazon DynamoDB：分布式鍵/值存儲，Dynamo論文的實現(xiàn);

　　Edis：為替代Redis的協(xié)議兼容的服務(wù)器;

　　ElephantDB：專門研究Hadoop中數(shù)據(jù)導(dǎo)出的分布式數(shù)據(jù)庫;

　　EventStore：分布式時間序列數(shù)據(jù)庫;

　　GridDB：適用于存儲在時間序列中的傳感器數(shù)據(jù);

　　LinkedIn Krati：簡單的持久性數(shù)據(jù)存儲鞋囊，擁有低延遲和高吞吐量;

　　Linkedin Voldemort：分布式鍵/值存儲系統(tǒng);

　　Oracle NoSQL Database：Oracle公司開發(fā)的分布式鍵值數(shù)據(jù)庫;

【大數(shù)據(jù)開發(fā)學(xué)習(xí)資料領(lǐng)取方式】：加入大數(shù)據(jù)技術(shù)學(xué)習(xí)交流扣扣群458345782止后，點擊加入群聊，私信管理員即可免費領(lǐng)取

　　Redis：內(nèi)存中的鍵值數(shù)據(jù)存儲;

　　Riak：分散式數(shù)據(jù)存儲;

　　Storehaus：Twitter開發(fā)的異步鍵值存儲的庫;

　　Tarantool：一個高效的NoSQL數(shù)據(jù)庫和Lua應(yīng)用服務(wù)器;

　　TiKV：由Google Spanner和HBase授權(quán)溜腐，Rust提供技術(shù)支持的分布式鍵值數(shù)據(jù)庫;

　　TreodeDB：可復(fù)制译株、共享的鍵-值存儲，能提供多行原子寫入挺益。

圖形數(shù)據(jù)模型

　　Apache Giraph：基于Hadoop的Pregel實現(xiàn);

　　Apache Spark Bagel：可實現(xiàn)Pregel歉糜，為Spark的一部分;

　　ArangoDB：多層模型分布式數(shù)據(jù)庫;

　　DGraph：一個可擴展的、分布式望众、低時延匪补、高吞吐量的圖形數(shù)據(jù)庫，旨在為Google生產(chǎn)水平規(guī)模和吞吐量提供足夠的低延遲烂翰，用于TB級的結(jié)構(gòu)化數(shù)據(jù)的實時用戶查詢;

　　Facebook TAO：TAO是facebook廣泛用來存儲和服務(wù)于社交圖形的分布式數(shù)據(jù)存儲;

　　GCHQ Gaffer：GCHQ中的Gaffer是一個易于存儲大規(guī)模圖形的框架夯缺，其中節(jié)點和邊緣都有統(tǒng)計數(shù)據(jù);

　　Google Cayley：開源圖形數(shù)據(jù)庫;

　　Google Pregel ：圖形處理框架;

　　GraphLab PowerGraph：核心C GraphLab API和建立在GraphLab API之上的高性能機器學(xué)習(xí)和數(shù)據(jù)挖掘工具包的集合;

　　GraphX：Spark中的彈性分布式圖形系統(tǒng);

　　Gremlin：圖形追蹤語言;

　　Infovore：以RDF為中心的Map / Reduce框架;

　　Intel GraphBuilder：在Hadoop上構(gòu)建大規(guī)模圖形的工具;

　　MapGraph：用于在GPU上大規(guī)模并行圖形處理;

　　Neo4j：完全用Java寫入的圖形數(shù)據(jù)庫;

　　OrientDB：文檔和圖形數(shù)據(jù)庫;

　　Phoebus：大型圖形處理框架;

　　Titan：建于Cassandra的分布式圖形數(shù)據(jù)庫;

　　Twitter FlockDB：分布式圖形數(shù)據(jù)庫。

NewSQL數(shù)據(jù)庫

　　Actian Ingres：由商業(yè)支持甘耿，開源的SQL關(guān)系數(shù)據(jù)庫管理系統(tǒng);

　　Amazon RedShift：基于PostgreSQL的數(shù)據(jù)倉庫服務(wù);

　　BayesDB：面向統(tǒng)計數(shù)值的SQL數(shù)據(jù)庫;

　　CitusDB：通過分區(qū)和復(fù)制橫向擴展PostgreSQL;

　　Cockroach：可擴展踊兜、地址可復(fù)制、交易型的數(shù)據(jù)庫;

　　Datomic：旨在產(chǎn)生可擴展棵里、靈活的智能應(yīng)用的分布式數(shù)據(jù)庫;

　　FoundationDB：由F1授意的分布式數(shù)據(jù)庫;

　　Google F1：建立在Spanner上的分布式SQL數(shù)據(jù)庫;

　　Google Spanner：全球性的分布式半關(guān)系型數(shù)據(jù)庫;

　　H-Store：是一個實驗性主存并行數(shù)據(jù)庫管理系統(tǒng)润文，用于聯(lián)機事務(wù)處理(OLTP)應(yīng)用的優(yōu)化;

　　Haeinsa：基于Percolator，HBase的線性可擴展多行多表交易庫;

　　HandlerSocket：MySQL/MariaDB的NoSQL插件;

　　InfiniSQL：無限可擴展的RDBMS;

　　MemSQL：內(nèi)存中的SQL數(shù)據(jù)庫殿怜，其中有優(yōu)化的閃存列存儲;

　　NuoDB：SQL / ACID兼容的分布式數(shù)據(jù)庫;

　　Oracle TimesTen in-Memory Database：內(nèi)存中具有持久性和可恢復(fù)性的關(guān)系型數(shù)據(jù)庫管理系統(tǒng);

　　Pivotal GemFire XD：內(nèi)存中低延時的分布式SQL數(shù)據(jù)存儲典蝌，可為內(nèi)存列表數(shù)據(jù)提供SQL接口，在HDFS中較持久化;

　　SAP HANA：是在內(nèi)存中面向列的關(guān)系型數(shù)據(jù)庫管理系統(tǒng);

　　SenseiDB：分布式實時半結(jié)構(gòu)化的數(shù)據(jù)庫;

　　Sky：用于行為數(shù)據(jù)的靈活头谜、高性能分析的數(shù)據(jù)庫;

　　SymmetricDS：用于文件和數(shù)據(jù)庫同步的開源軟件;

　　Map-D：為GPU內(nèi)存數(shù)據(jù)庫骏掀，也為大數(shù)據(jù)分析和可視化平臺;

　　TiDB：TiDB是分布式SQL數(shù)據(jù)庫，基于谷歌F1的設(shè)計靈感;

　　VoltDB：自稱為最快的內(nèi)存數(shù)據(jù)庫柱告。

列式數(shù)據(jù)庫

　　注意：請在鍵-值數(shù)據(jù)模型 閱讀相關(guān)注釋截驮。

　　Columnar Storage：解釋什么是列存儲以及何時會需要用到它;

　　Actian Vector：面向列的分析型數(shù)據(jù)庫;

　　C-Store：面向列的DBMS;

　　MonetDB：列存儲數(shù)據(jù)庫;

　　Parquet：Hadoop的列存儲格式;

　　Pivotal Greenplum：專門設(shè)計的、專用的分析數(shù)據(jù)倉庫际度，類似于傳統(tǒng)的基于行的工具葵袭，提供了一個列式工具;

　　Vertica：用來管理大規(guī)模、快速增長的大量數(shù)據(jù)乖菱，當用于數(shù)據(jù)倉庫時坡锡，能夠提供非常快的查詢性能;

　　Google BigQuery ：谷歌的云產(chǎn)品窒所，由其在Dremel的創(chuàng)始工作提供支持;

　　Amazon Redshift ：亞馬遜的云產(chǎn)品鹉勒，它也是基于柱狀數(shù)據(jù)存儲后端。

時間序列數(shù)據(jù)庫

　　Cube：使用MongoDB來存儲時間序列數(shù)據(jù);

　　Axibase Time Series Database：在HBase之上的分布式時間序列數(shù)據(jù)庫吵取，它包括內(nèi)置的Rule Engine禽额、數(shù)據(jù)預(yù)測和可視化;

　　Heroic：基于Cassandra和Elasticsearch的可擴展的時間序列數(shù)據(jù)庫;

　　InfluxDB：分布式時間序列數(shù)據(jù)庫;

　　Kairosdb：類似于OpenTSDB但會考慮到Cassandra;

　　OpenTSDB：在HBase上的分布式時間序列數(shù)據(jù)庫;

　　Prometheus：一種時間序列數(shù)據(jù)庫和服務(wù)監(jiān)測系統(tǒng);

　　Newts：一種基于Apache Cassandra的時間序列數(shù)據(jù)庫。

類SQL處理

　　Actian SQL for Hadoop：高性能交互式的SQL皮官，可訪問所有的Hadoop數(shù)據(jù);

　　Apache Drill：由Dremel授意的交互式分析框架;

　　Apache HCatalog：Hadoop的表格和存儲管理層;

　　Apache Hive：Hadoop的類SQL數(shù)據(jù)倉庫系統(tǒng);

　　Apache Optiq：一種框架脯倒，可允許高效的查詢翻譯，其中包括異構(gòu)性及聯(lián)合性數(shù)據(jù)的查詢;

　　Apache Phoenix：Apache Phoenix 是 HBase 的 SQL 驅(qū)動;

　　Cloudera Impala：由Dremel授意的交互式分析框架;

　　Concurrent Lingual：Cascading中的類SQL查詢語言;

　　Datasalt Splout SQL：用于大數(shù)據(jù)集的完整的SQL查詢工具;

　　Facebook PrestoDB：分布式SQL查詢工具;

　　Google BigQuery：交互式分析框架臣疑，Dremel的實現(xiàn);

　　Pivotal HAWQ：Hadoop的類SQL的數(shù)據(jù)倉庫系統(tǒng);

　　RainstorDB：用于存儲大規(guī)模PB級結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)庫;

　　Spark Catalyst：用于Spark和Shark的查詢優(yōu)化框架;

　　SparkSQL：使用Spark操作結(jié)構(gòu)化數(shù)據(jù);

　　Splice Machine：一個全功能的Hadoop上的SQL RDBMS盔憨，并帶有ACID事務(wù);

　　Stinger：用于Hive的交互式查詢;

　　Tajo：Hadoop的分布式數(shù)據(jù)倉庫系統(tǒng);

　　Trafodion：為企業(yè)級的SQL-on-HBase針對大數(shù)據(jù)的事務(wù)或業(yè)務(wù)工作負載的解決方案。

數(shù)據(jù)攝取

　　Amazon Kinesis：大規(guī)模數(shù)據(jù)流的實時處理;

　　Apache Chukwa：數(shù)據(jù)采集系統(tǒng);

　　Apache Flume：管理大量日志數(shù)據(jù)的服務(wù);

　　Apache Kafka：分布式發(fā)布-訂閱消息系統(tǒng);

　　Apache Sqoop：在Hadoop和結(jié)構(gòu)化的數(shù)據(jù)存儲區(qū)之間傳送數(shù)據(jù)的工具;

　　Cloudera Morphlines：幫助 Solr讯沈、HBase和HDFS完成ETL的框架;

　　Facebook Scribe：流日志數(shù)據(jù)聚合器;

　　Fluentd：采集事件和日志的工具;

　　Google Photon：實時連接多個數(shù)據(jù)流的分布式計算機系統(tǒng)郁岩，具有高可擴展性和低延遲性;

　　Heka：開源流處理軟件系統(tǒng);

　　HIHO：用Hadoop連接不同數(shù)據(jù)源的框架;

　　Kestrel：分布式消息隊列系統(tǒng);

　　LinkedIn Databus：對數(shù)據(jù)庫更改捕獲的事件流;

　　LinkedIn Kamikaze：壓縮已分類整型數(shù)組的程序包;

　　LinkedIn White Elephant：日志聚合器和儀表板;

　　Logstash：用于管理事件和日志的工具;

　　Netflix Suro：像基于Chukwa 的Storm和Samza一樣的日志聚合器;

　　Pinterest Secor：是實現(xiàn)Kafka日志持久性的服務(wù);

　　Linkedin Gobblin：LinkedIn的通用數(shù)據(jù)攝取框架;

　　Skizze：是一種數(shù)據(jù)存儲略圖，使用概率性數(shù)據(jù)結(jié)構(gòu)來處理計數(shù)缺狠、略圖等相關(guān)的問題;

　　StreamSets Data Collector：連續(xù)大數(shù)據(jù)采集的基礎(chǔ)設(shè)施问慎，可簡單地使用IDE。

服務(wù)編程

　　Akka Toolkit：JVM中分布性挤茄、容錯事件驅(qū)動應(yīng)用程序的運行時間;

　　Apache Avro：數(shù)據(jù)序列化系統(tǒng);

　　Apache Curator：Apache ZooKeeper的Java庫;

　　Apache Karaf：在任何OSGi框架之上運行的OSGi運行時間;

　　Apache Thrift：構(gòu)建二進制協(xié)議的框架;

　　Apache Zookeeper：流程管理集中式服務(wù);

　　Google Chubby：一種松耦合分布式系統(tǒng)鎖服務(wù);

　　Linkedin Norbert：集群管理器;

　　OpenMPI：消息傳遞框架;

　　Serf：服務(wù)發(fā)現(xiàn)和協(xié)調(diào)的分散化解決方案;

　　Spotify Luigi：一種構(gòu)建批處理作業(yè)的復(fù)雜管道的Python包如叼，它能夠處理依賴性解析、工作流管理穷劈、可視化笼恰、故障處理踊沸、命令行一體化等等問題;

　　Spring XD：數(shù)據(jù)攝取、實時分析社证、批量處理和數(shù)據(jù)導(dǎo)出的分布式逼龟、可擴展系統(tǒng);

　　Twitter Elephant Bird：LZO壓縮數(shù)據(jù)的工作庫;

　　Twitter Finagle：JVM的異步網(wǎng)絡(luò)堆棧。

調(diào)度

　　Apache Aurora：在Apache Mesos之上運行的服務(wù)調(diào)度程序;

　　Apache Falcon：數(shù)據(jù)管理框架;

　　Apache Oozie：工作流作業(yè)調(diào)度程序;

　　Chronos：分布式容錯調(diào)度;

　　Linkedin Azkaban：批處理工作流作業(yè)調(diào)度;

　　Schedoscope：Hadoop作業(yè)敏捷調(diào)度的Scala DSL;

　　Sparrow：調(diào)度平臺;

　　Airflow：一個以編程方式編寫追葡、調(diào)度和監(jiān)控工作流的平臺腺律。

機器學(xué)習(xí)

　　Apache Mahout：Hadoop的機器學(xué)習(xí)庫;

　　brain：JavaScript中的神經(jīng)網(wǎng)絡(luò);

　　Cloudera Oryx：實時大規(guī)模機器學(xué)習(xí);

　　Concurrent Pattern：Cascading的機器學(xué)習(xí)庫;

　　convnetjs：Javascript中的機器學(xué)習(xí)，在瀏覽器中訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)(或普通網(wǎng)絡(luò));

　　Decider：Ruby中靈活宜肉、可擴展的機器學(xué)習(xí);

　　ENCOG：支持多種先進算法的機器學(xué)習(xí)框架匀钧，同時支持類的標準化和處理數(shù)據(jù);

　　etcML：機器學(xué)習(xí)文本分類;

　　Etsy Conjecture：Scalding中可擴展的機器學(xué)習(xí);

　　Google Sibyl：Google中的大規(guī)模機器學(xué)習(xí)系統(tǒng);

　　GraphLab Create：Python的機器學(xué)習(xí)平臺，包括ML工具包谬返、數(shù)據(jù)工程和部署工具的廣泛集合;

　　H2O：Hadoop統(tǒng)計性的機器學(xué)習(xí)和數(shù)學(xué)運行時間;

　　MLbase：用于BDAS堆棧的分布式機器學(xué)習(xí)庫;

　　MLPNeuralNet：針對iOS和Mac OS X的快速多層感知神經(jīng)網(wǎng)絡(luò)庫;

　　MonkeyLearn：使文本挖掘更為容易之斯，從文本中提取分類數(shù)據(jù);

　　nupic：智能計算的Numenta平臺，它是一個啟發(fā)大腦的機器智力平臺遣铝，基于皮質(zhì)學(xué)習(xí)算法的精準的生物神經(jīng)網(wǎng)絡(luò);

　　PredictionIO：建于Hadoop吊圾、Mahout和Cascading上的機器學(xué)習(xí)服務(wù)器;

　　SAMOA：分布式流媒體機器學(xué)習(xí)框架;

　　scikit-learn：scikit-learn為Python中的機器學(xué)習(xí);

　　Spark MLlib：Spark中一些常用的機器學(xué)習(xí)(ML)功能的實現(xiàn);

　　Vowpal Wabbit：微軟和雅虎發(fā)起的學(xué)習(xí)系統(tǒng);

　　WEKA：機器學(xué)習(xí)軟件套件;

　　BidMach：CPU和加速GPU的機器學(xué)習(xí)庫。

基準測試

　　Apache Hadoop Benchmarking：測試Hadoop性能的微基準;

　　Berkeley SWIM Benchmark：現(xiàn)實大數(shù)據(jù)工作負載基準測試;

　　Intel HiBench：Hadoop基準測試套件;

　　PUMA Benchmarking：MapReduce應(yīng)用的基準測試套件;

　　Yahoo Gridmix3：雅虎工程師團隊的Hadoop集群基準測試翰蠢。

安全性

　　Apache Knox Gateway：Hadoop集群安全訪問的單點;

　　Apache Sentry：存儲在Hadoop的數(shù)據(jù)安全模塊项乒。

系統(tǒng)部署

　　Apache Ambari：Hadoop管理的運作框架;

　　Apache Bigtop：Hadoop生態(tài)系統(tǒng)的部署框架;

　　Apache Helix：集群管理框架;

　　Apache Mesos：集群管理器;

　　Apache Slider：一種YARN應(yīng)用，用來部署YARN中現(xiàn)有的分布式應(yīng)用程序;

　　Apache Whirr：運行云服務(wù)的庫集;

　　Apache YARN：集群管理器;

　　Brooklyn：用于簡化應(yīng)用程序部署和管理的庫;

　　Buildoop：基于Groovy語言梁沧，和Apache BigTop類似;

　　Cloudera HUE：和Hadoop進行交互的Web應(yīng)用程序;

　　Facebook Prism：多數(shù)據(jù)中心復(fù)制系統(tǒng);

　　Google Borg：作業(yè)調(diào)度和監(jiān)控系統(tǒng);

　　Google Omega：作業(yè)調(diào)度和監(jiān)控系統(tǒng);

　　Hortonworks HOYA：可在YARN上部署HBase集群的應(yīng)用;

　　Marathon：用于長期運行服務(wù)的Mesos框架檀何。

應(yīng)用程序

　　Adobe spindle：使用Scala、Spark和Parquet處理的下一代web分析;

　　Apache Kiji：基于HBase廷支，實時采集和分析數(shù)據(jù)的框架;

　　Apache Nutch：開源網(wǎng)絡(luò)爬蟲;

　　Apache OODT：用于NASA科學(xué)檔案中數(shù)據(jù)的捕獲频鉴、處理和共享;

　　Apache Tika：內(nèi)容分析工具包;

　　Argus：時間序列監(jiān)測和報警平臺;

　　Countly：基于Node.js和MongoDB，開源的手機和網(wǎng)絡(luò)分析平臺;

　　Domino：運行恋拍、規(guī)劃垛孔、共享和部署模型——沒有任何基礎(chǔ)設(shè)施;

　　Eclipse BIRT：基于Eclipse的報告系統(tǒng);

　　Eventhub：開源的事件分析平臺;

　　Hermes：建于Kafka上的異步消息代理;

　　HIPI Library：在Hadoop's MapReduce上執(zhí)行圖像處理任務(wù)的API;

　　Hunk：Hadoop的Splunk分析;

　　Imhotep：大規(guī)模分析平臺;

　　MADlib：RDBMS的用于數(shù)據(jù)分析的數(shù)據(jù)處理庫;

　　Kylin：來自eBay的開源分布式分析工具;

　　PivotalR：Pivotal HD / HAWQ和PostgreSQL中的R;

　　Qubole：為自動縮放Hadoop集群，內(nèi)置的數(shù)據(jù)連接器;

　　Sense：用于數(shù)據(jù)科學(xué)和大數(shù)據(jù)分析的云平臺;

　　SnappyData：用于實時運營分析的分布式內(nèi)存數(shù)據(jù)存儲施敢，提供建立在Spark單一集成集群中的數(shù)據(jù)流分析周荐、OLTP(聯(lián)機事務(wù)處理)和OLAP(聯(lián)機分析處理);

　　Snowplow：企業(yè)級網(wǎng)絡(luò)和事件分析，由Hadoop僵娃、Kinesis概作、Redshift 和Postgres提供技術(shù)支持;

　　SparkR：Spark的R前端;

　　Splunk：用于機器生成的數(shù)據(jù)的分析;

　　Sumo Logic：基于云的分析儀，用于分析機器生成的數(shù)據(jù);

　　Talend：用于YARN默怨、Hadoop讯榕、HBASE、Hive、HCatalog和Pig的統(tǒng)一開源環(huán)境;

　　Warp：利用大數(shù)據(jù)(OS X app)的實例查詢工具愚屁。

搜索引擎與框架

　　Apache Lucene：搜索引擎庫;

　　Apache Solr：用于Apache Lucene的搜索平臺;

　　ElasticSearch：基于Apache Lucene的搜索和分析引擎;

　　Enigma.io：為免費增值的健壯性web應(yīng)用济竹，用于探索、篩選霎槐、分析规辱、搜索和導(dǎo)出來自網(wǎng)絡(luò)的大規(guī)模數(shù)據(jù)集;

　　Facebook Unicorn：社交圖形搜索平臺;

　　Google Caffeine：連續(xù)索引系統(tǒng);

　　Google Percolator：連續(xù)索引系統(tǒng);

　　TeraGoogle：大型搜索索引;

　　HBase Coprocessor：為Percolator的實現(xiàn)，HBase的一部分;

　　Lily HBase Indexer：快速栽燕、輕松地搜索存儲在HBase的任何內(nèi)容;

　　LinkedIn Bobo：完全由Java編寫的分面搜索的實現(xiàn)，為Apache Lucene的延伸;

　　LinkedIn Cleo：為一個一個靈活的軟件庫改淑，使得局部碍岔、無序、實時預(yù)輸入的搜索實現(xiàn)了快速發(fā)展;

　　LinkedIn Galene：LinkedIn搜索架構(gòu);

　　LinkedIn Zoie：是用Java編寫的實時搜索/索引系統(tǒng);

　　Sphinx Search Server：全文搜索引擎

MySQL的分支和演化

　　Amazon RDS：亞馬遜云的MySQL數(shù)據(jù)庫;

　　Drizzle：MySQL的6.0的演化;

　　Google Cloud SQL：谷歌云的MySQL數(shù)據(jù)庫;

　　MariaDB：MySQL的增強版嵌入式替代品;

　　MySQL Cluster：使用NDB集群存儲引擎的MySQL實現(xiàn);

　　Percona Server：MySQL的增強版嵌入式替代品;

　　ProxySQL：MySQL的高性能代理;

　　TokuDB：用于MySQL和 MariaDB的存儲引擎;

　　WebScaleSQL：運行MySQL時面臨類似挑戰(zhàn)的幾家公司朵夏，它們的工程師之間的合作蔼啦。

PostgreSQL的分支和演化

　　Yahoo Everest - multi-peta-byte database / MPP derived by PostgreSQL.

　　HadoopDB：MapReduce和DBMS的混合體;

　　IBM Netezza：高性能數(shù)據(jù)倉庫設(shè)備;

　　Postgres-XL：基于PostgreSQL，可擴展的開源數(shù)據(jù)庫集群;

　　RecDB：完全建立在PostgreSQL內(nèi)部的開源推薦引擎;

　　Stado：開源MPP數(shù)據(jù)庫系統(tǒng)仰猖，只針對數(shù)據(jù)倉庫和數(shù)據(jù)集市的應(yīng)用程序;

　　Yahoo Everest：PostgreSQL可以推導(dǎo)多字節(jié)P比特數(shù)據(jù)庫/MPP捏肢。

Memcached的分支和演化

　　Facebook McDipper：閃存的鍵/值緩存;

　　Facebook Memcached：Memcache的分支;

　　Twemproxy：Memcached和Redis的快速、輕型代理;

　　Twitter Fatcache：閃存的鍵/值緩存;

　　Twitter Twemcache：Memcache的分支饥侵。

嵌入式數(shù)據(jù)庫

　　Actian PSQL：Pervasive Software公司開發(fā)的ACID兼容的DBMS鸵赫，在應(yīng)用程序中嵌入了優(yōu)化;

　　BerkeleyDB：為鍵/值數(shù)據(jù)提供一個高性能的嵌入式數(shù)據(jù)庫的一個軟件庫;

　　HanoiDB：Erlang LSM BTree存儲;

　　LevelDB：谷歌寫的一個快速鍵-值存儲庫，它提供了從字符串鍵到字符串值的有序映射;

　　LMDB：Symas開發(fā)的超快躏升、超緊湊的鍵-值嵌入的式數(shù)據(jù)存儲;

　　RocksDB：基于性LevelDB辩棒，用于快速存儲的嵌入式持續(xù)性鍵-值存儲。

　　商業(yè)智能

　　BIME Analytics：商業(yè)智能云平臺;

　　Chartio：精益業(yè)務(wù)智能平臺膨疏，用于可視化和探索數(shù)據(jù);

　　datapine：基于云的自助服務(wù)商業(yè)智能工具;

　　Jaspersoft：功能強大的商業(yè)智能套件;

　　Jedox Palo：定制的商業(yè)智能平臺;

　　Microsoft：商業(yè)智能軟件和平臺;

　　Microstrategy：商業(yè)智能一睁、移動智能和網(wǎng)絡(luò)應(yīng)用軟件平臺;

　　Pentaho：商業(yè)智能平臺;

　　Qlik：商業(yè)智能和分析平臺;

　　Saiku：開源的分析平臺;

　　SpagoBI：開源商業(yè)智能平臺;

　　Tableau：商業(yè)智能平臺;

　　Zoomdata：大數(shù)據(jù)分析;

　　Jethrodata：交互式大數(shù)據(jù)分析。

數(shù)據(jù)可視化

　　Airpal：用于PrestoDB的網(wǎng)頁UI;

　　Arbor：利用網(wǎng)絡(luò)工作者和jQuery的圖形可視化庫;

　　Banana：對存儲在Kibana中Solr. Port的日志和時戳數(shù)據(jù)進行可視化;

　　Bokeh：一個功能強大的Python交互式可視化庫佃却，它針對要展示的現(xiàn)代web瀏覽器者吁，旨在為D3.js風(fēng)格的新奇的圖形提供優(yōu)雅簡潔的設(shè)計，同時在大規(guī)模數(shù)據(jù)或流數(shù)據(jù)集中饲帅，通過高性能交互性來表達這種能力;

　　C3：基于D3可重復(fù)使用的圖表庫;

　　CartoDB：開源或免費增值的虛擬主機复凳，用于帶有強大的前端編輯功能和API的地理空間數(shù)據(jù)庫;

　　chartd：只帶Img標簽的反應(yīng)靈敏、兼容Retina的圖表;

　　Chart.js：開源的HTML5圖表可視化效果;

　　Chartist.js：另一個開源HTML5圖表可視化效果;

　　Crossfilter：JavaScript庫灶泵，用于在瀏覽器中探索多元大數(shù)據(jù)集染坯，用Dc.js和D3.js.效果很好;

　　Cubism：用于時間序列可視化的JavaScript庫;

　　Cytoscape：用于可視化復(fù)雜網(wǎng)絡(luò)的JavaScript庫;

　　DC.js：維度圖表，和Crossfilter一起使用丘逸，通過D3.js呈現(xiàn)出來弄喘，它比較擅長連接圖表/附加的元數(shù)據(jù)孽水，從而徘徊在D3的事件附近;

　　D3：操作文件的JavaScript庫;

　　D3.compose：從可重復(fù)使用的圖表和組件構(gòu)成復(fù)雜的逃呼、數(shù)據(jù)驅(qū)動的可視化;

　　D3Plus：一組相當強大的可重用的圖表膨桥，還有D3.js的樣式;

　　Echarts：百度企業(yè)場景圖表;

　　Envisionjs：動態(tài)HTML5可視化;

　　FnordMetric：寫SQL查詢，返回SVG圖表和泌，而不是表;

　　Freeboard：針對IOT和其他Web混搭的開源實時儀表盤構(gòu)建;

　　Gephi：屢獲殊榮的開源平臺，可視化和操縱大型圖形和網(wǎng)絡(luò)連接，有點像Photoshop镣奋，但是針對于圖表，適用于Windows和Mac OS X;

　　Google Charts：簡單的圖表API;

　　Grafana：石墨儀表板前端怀愧、編輯器和圖形組合器;

　　Graphite：可擴展的實時圖表;

　　Highcharts：簡單而靈活的圖表API;

　　IPython：為交互式計算提供豐富的架構(gòu);

　　Kibana：可視化日志和時間標記數(shù)據(jù);

　　Matplotlib：Python繪圖;

　　Metricsgraphic.js：建立在D3之上的庫侨颈，針對時間序列數(shù)據(jù)進行最優(yōu)化;

　　NVD3：d3.js的圖表組件;

　　Peity：漸進式SVG條形圖，折線和餅圖;

　　Plot.ly：易于使用的Web服務(wù)芯义，它允許快速創(chuàng)建從熱圖到直方圖等復(fù)雜的圖表哈垢，使用圖表Plotly的在線電子表格上傳數(shù)據(jù)進行創(chuàng)建和設(shè)計;

　　Plotly.js：支持plotly的開源JavaScript圖形庫;

　　Recline：簡單但功能強大的庫，純粹利用JavaScript和HTML構(gòu)建數(shù)據(jù)應(yīng)用;

　　Redash：查詢和可視化數(shù)據(jù)的開源平臺;

　　Shiny：針對R的Web應(yīng)用程序框架;

　　Sigma.js：JavaScript庫扛拨，專門用于圖形繪制;

　　Vega：一個可視化語法;

　　Zeppelin：一個筆記本式的協(xié)作數(shù)據(jù)分析;

　　Zing Charts：用于大數(shù)據(jù)的JavaScript圖表庫耘分。

物聯(lián)網(wǎng)和傳感器

　　TempoIQ：基于云的傳感器分析;

　　2lemetry：物聯(lián)網(wǎng)平臺;

　　Pubnub：數(shù)據(jù)流網(wǎng)絡(luò);

　　ThingWorx：ThingWorx 是讓企業(yè)快速創(chuàng)建和運行互聯(lián)應(yīng)用程序平臺;

　　IFTTT：IFTTT 是一個被稱為 “網(wǎng)絡(luò)自動化神器” 的創(chuàng)新型互聯(lián)網(wǎng)服務(wù)，它的全稱是 If this then that绑警，意思是“如果這樣求泰，那么就那樣”;

　　Evrythng：Evrythng則是一款真正意義上的大眾物聯(lián)網(wǎng)平臺，使得身邊的很多產(chǎn)品變得智能化计盒。

文章推薦

　　NoSQL Comparison(NoSQL 比較)- Cassandra vs MongoDB vs CouchDB vs Redis vs Riak vs HBase vs Couchbase vs Neo4j vs Hypertable vs ElasticSearch vs Accumulo vs VoltDB vs Scalaris comparison;

　　Big Data Benchmark(大數(shù)據(jù)基準)- Redshift, Hive, Shark, Impala and Stiger/Tez的基準;

　　The big data successor of the spreadsheet(電子表格的大數(shù)據(jù)繼承者) - 電子表格的繼承者應(yīng)該是大數(shù)據(jù)渴频。

論文

　　2015 - 2016

　　2015 - Facebook - One Trillion Edges: Graph Processing at Facebook-Scale.(一兆邊：Facebook規(guī)模的圖像處理)

　　2013 - 2014

　　2014 - Stanford - Mining of Massive Datasets.(海量數(shù)據(jù)集挖掘)

　　2013 - AMPLab - Presto: Distributed Machine Learning and Graph Processing with Sparse Matrices. (Presto： 稀疏矩陣的分布式機器學(xué)習(xí)和圖像處理)

　　2013 - AMPLab - MLbase: A Distributed Machine-learning System. (MLbase：分布式機器學(xué)習(xí)系統(tǒng))

　　2013 - AMPLab - Shark: SQL and Rich Analytics at Scale. (Shark: 大規(guī)模的SQL 和豐富的分析)

　　2013 - AMPLab - GraphX: A Resilient Distributed Graph System on Spark. (GraphX:基于Spark的彈性分布式圖計算系統(tǒng))

　　2013 - Google - HyperLogLog in Practice: Algorithmic Engineering of a State of The Art Cardinality Estimation Algorithm. (HyperLogLog實踐:一個藝術(shù)形態(tài)的基數(shù)估算算法)

　　2013 - Microsoft - Scalable Progressive Analytics on Big Data in the Cloud.(云端大數(shù)據(jù)的可擴展性漸進分析)

　　2013 - Metamarkets - Druid: A Real-time Analytical Data Store. (Druid：實時分析數(shù)據(jù)存儲)

　　2013 - Google - Online, Asynchronous Schema Change in F1.(F1中在線、異步模式的轉(zhuǎn)變)

　　2013 - Google - F1: A Distributed SQL Database That Scales. (F1: 分布式SQL數(shù)據(jù)庫)

　　2013 - Google - MillWheel: Fault-Tolerant Stream Processing at Internet Scale.(MillWheel: 互聯(lián)網(wǎng)規(guī)模下的容錯流處理)

　　2013 - Facebook - Scuba: Diving into Data at Facebook. (Scuba: 深入Facebook的數(shù)據(jù)世界)

　　2013 - Facebook - Unicorn: A System for Searching the Social Graph. (Unicorn: 一種搜索社交圖的系統(tǒng))

　　2013 - Facebook - Scaling Memcache at Facebook. (Facebook 對 Memcache 伸縮性的增強)

　　2011 - 2012

　　2012 - Twitter - The Unified Logging Infrastructure for Data Analytics at Twitter. (Twitter數(shù)據(jù)分析的統(tǒng)一日志基礎(chǔ)結(jié)構(gòu))

　　2012 - AMPLab –Blink and It’s Done: Interactive Queries on Very Large Data. (Blink及其完成：超大規(guī)模數(shù)據(jù)的交互式查詢)

　　2012 - AMPLab –Fast and Interactive Analytics over Hadoop Data with Spark. (Spark上 Hadoop數(shù)據(jù)的快速交互式分析)

　　2012 - AMPLab –Shark: Fast Data Analysis Using Coarse-grained Distributed Memory. (Shark：使用粗粒度的分布式內(nèi)存快速數(shù)據(jù)分析)

　　2012 - Microsoft –Paxos Replicated State Machines as the Basis of a High-Performance Data Store. (Paxos的復(fù)制狀態(tài)機——高性能數(shù)據(jù)存儲的基礎(chǔ))

　　2012 - Microsoft –Paxos Made Parallel. (Paxos算法實現(xiàn)并行)

　　2012 - AMPLab – BlinkDB：BlinkDB: Queries with Bounded Errors and Bounded Response Times on Very Large Data.(超大規(guī)模數(shù)據(jù)中有限誤差與有界響應(yīng)時間的查詢)

　　2012 - Google –Processing a trillion cells per mouse click.(每次點擊處理一兆個單元格)

　　2012 - Google –Spanner: Google’s Globally-Distributed Database.(Spanner：谷歌的全球分布式數(shù)據(jù)庫)

　　2011 - AMPLab –Scarlett: Coping with Skewed Popularity Content in MapReduce Clusters.(Scarlett：應(yīng)對MapReduce集群中的偏向性內(nèi)容)

　　2011 - AMPLab –Mesos: A Platform for Fine-Grained Resource Sharing in the Data Center.(Mesos：數(shù)據(jù)中心中細粒度資源共享的平臺)

　　2011 - Google –Megastore: Providing Scalable, Highly Available Storage for Interactive Services.(Megastore：為交互式服務(wù)提供可擴展北启，高度可用的存儲)

　　2001 - 2010

　　2010 - Facebook - Finding a needle in Haystack: Facebook’s photo storage.(探究Haystack中的細微之處： Facebook圖片存儲)

　　2010 - AMPLab - Spark: Cluster Computing with Working Sets.(Spark:工作組上的集群計算)

　　2010 - Google - Storage Architecture and Challenges.(存儲架構(gòu)與挑戰(zhàn))

　　2010 - Google - Pregel: A System for Large-Scale Graph Processing.(Pregel: 一種大型圖形處理系統(tǒng))

　　2010 - Google - Large-scale Incremental Processing Using Distributed Transactions and Noti?cations base of Percolator and Caffeine.(使用基于Percolator 和 Caffeine平臺分布式事務(wù)和通知的大規(guī)模增量處理)

　　2010 - Google - Dremel: Interactive Analysis of Web-Scale Datasets.(Dremel: Web規(guī)模數(shù)據(jù)集的交互分析)

　　2010 - Yahoo - S4: Distributed Stream Computing Platform.(S4:分布式流計算平臺)

　　2009 - HadoopDB：An Architectural Hybrid of MapReduce and DBMS Technologies for Analytical Workloads.(混合MapReduce和DBMS技術(shù)用于分析工作負載的的架構(gòu))

【大數(shù)據(jù)開發(fā)學(xué)習(xí)資料領(lǐng)取方式】：加入大數(shù)據(jù)技術(shù)學(xué)習(xí)交流扣扣群458345782枉氮，點擊加入群聊，私信管理員即可免費領(lǐng)取

　　2008 - AMPLab - Chukwa: A large-scale monitoring system.(Chukwa: 大型監(jiān)控系統(tǒng))

　　2007 - Amazon - Dynamo: Amazon’s Highly Available Key-value Store.(Dynamo: 亞馬遜的高可用的關(guān)鍵價值存儲)

　　2006 - Google - The Chubby lock service for loosely-coupled distributed systems.(面向松散耦合的分布式系統(tǒng)的鎖服務(wù))

　　2006 - Google - Bigtable: A Distributed Storage System for Structured Data.(Bigtable: 結(jié)構(gòu)化數(shù)據(jù)的分布式存儲系統(tǒng))

　　2004 - Google - MapReduce: Simplied Data Processing on Large Clusters.(MapReduce: 大型集群上簡化數(shù)據(jù)處理)

　　2003 - Google - The Google File System.(谷歌文件系統(tǒng))