史上最全的“大數(shù)據(jù)”學(xué)習(xí)資源（上）-博客-云棲社區(qū)-阿里云
https://yq.aliyun.com/articles/37308

大數(shù)據(jù)的那些事兒 - Darker - 博客頻道 - CSDN.NET
http://blog.csdn.net/jianghuxiaojin/article/details/52674139

資源列表：
關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)（RDBMS）
框架
分布式編程
分布式文件系統(tǒng)
文件數(shù)據(jù)模型
Key -Map 數(shù)據(jù)模型
鍵-值數(shù)據(jù)模型
圖形數(shù)據(jù)模型
NewSQL數(shù)據(jù)庫(kù)
列式數(shù)據(jù)庫(kù)
時(shí)間序列數(shù)據(jù)庫(kù)
類SQL處理
數(shù)據(jù)攝取
服務(wù)編程
調(diào)度
機(jī)器學(xué)習(xí)
基準(zhǔn)測(cè)試
安全性
系統(tǒng)部署
應(yīng)用程序
搜索引擎與框架
MySQL的分支和演化
PostgreSQL的分支和演化
Memcached的分支和演化
嵌入式數(shù)據(jù)庫(kù)
商業(yè)智能
數(shù)據(jù)可視化
物聯(lián)網(wǎng)和傳感器
文章
論文
視頻

關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)（RDBMS）
MySQL：世界最流行的開(kāi)源數(shù)據(jù)庫(kù)舌镶；
PostgreSQL：世界最先進(jìn)的開(kāi)源數(shù)據(jù)庫(kù)运敢；
Oracle 數(shù)據(jù)庫(kù)：對(duì)象-關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng)盯质。

框架
Apache Hadoop：分布式處理架構(gòu)，結(jié)合了 MapReduce（并行處理）刨沦、YARN（作業(yè)調(diào)度）和HDFS（分布式文件系統(tǒng)）；
Tigon：高吞吐量實(shí)時(shí)流處理框架膘怕。

分布式編程
AddThis Hydra ：最初在AddThis上開(kāi)發(fā)的分布式數(shù)據(jù)處理和存儲(chǔ)系統(tǒng)想诅；
AMPLab SIMR：用在Hadoop MapReduce v1上運(yùn)行Spark；
Apache Beam：為統(tǒng)一的模型以及一套用于定義和執(zhí)行數(shù)據(jù)處理工作流的特定SDK語(yǔ)言；
Apache Crunch：一個(gè)簡(jiǎn)單的Java API来破，用于執(zhí)行在普通的MapReduce實(shí)現(xiàn)時(shí)比較單調(diào)的連接篮灼、數(shù)據(jù)聚合等任務(wù)；
Apache DataFu：由LinkedIn開(kāi)發(fā)的針對(duì)Hadoop and 和Pig的用戶定義的函數(shù)集合徘禁；
Apache Flink：具有高性能的執(zhí)行時(shí)間和自動(dòng)程序優(yōu)化诅诱；
Apache Gora：內(nèi)存中的數(shù)據(jù)模型和持久性框架；
Apache Hama：BSP（整體同步并行）計(jì)算框架送朱；
Apache MapReduce ：在集群上使用并行娘荡、分布式算法處理大數(shù)據(jù)集的編程模型；
Apache Pig ：Hadoop中驶沼，用于處理數(shù)據(jù)分析程序的高級(jí)查詢語(yǔ)言它改；
Apache REEF ：用來(lái)簡(jiǎn)化和統(tǒng)一低層大數(shù)據(jù)系統(tǒng)的保留性評(píng)估執(zhí)行框架；
Apache S4 ：S4中流處理與實(shí)現(xiàn)的框架商乎；
Apache Spark ：內(nèi)存集群計(jì)算框架央拖；
Apache Spark Streaming ：流處理框架，同時(shí)是Spark的一部分鹉戚；
Apache Storm ：Twitter流處理框架鲜戒，也可用于YARN；
Apache Samza ：基于Kafka和YARN的流處理框架抹凳；
Apache Tez ：基于YARN遏餐，用于執(zhí)行任務(wù)中的復(fù)雜DAG（有向無(wú)環(huán)圖）；
Apache Twill ：基于YARN的抽象概念赢底，用于減少開(kāi)發(fā)分布式應(yīng)用程序的復(fù)雜度失都；
Cascalog：數(shù)據(jù)處理和查詢庫(kù)；
Cheetah ：在MapReduce之上的高性能幸冻、自定義數(shù)據(jù)倉(cāng)庫(kù)粹庞；
Concurrent Cascading ：在Hadoop上的數(shù)據(jù)管理/分析框架；
Damballa Parkour ：用于Clojure的MapReduce庫(kù)洽损；
Datasalt Pangool ：可選擇的MapReduce范例庞溜；
DataTorrent StrAM ：為實(shí)時(shí)引擎，用于以盡可能暢通的方式碑定、最小的開(kāi)支和對(duì)性能最小的影響流码，實(shí)現(xiàn)分布式、異步延刘、實(shí)時(shí)的內(nèi)存大數(shù)據(jù)計(jì)算漫试；
Facebook Corona ：為Hadoop做優(yōu)化處理，從而消除單點(diǎn)故障碘赖；
Facebook Peregrine ：MapReduce框架驾荣；
Facebook Scuba ：分布式內(nèi)存數(shù)據(jù)存儲(chǔ)外构；
Google Dataflow ：創(chuàng)建數(shù)據(jù)管道，以幫助其分析框架秘车；
Netflix PigPen ：為MapReduce典勇，用于編譯成Apache Pig劫哼；
Nokia Disco ：由Nokia開(kāi)發(fā)的MapReduc獲取叮趴、轉(zhuǎn)換和分析數(shù)據(jù)；
Google MapReduce ：MapReduce框架权烧；
Google MillWheel ：容錯(cuò)流處理框架眯亦；
JAQL ：用于處理結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)工作的聲明性編程語(yǔ)言般码；
Kite ：為一組庫(kù)妻率、工具、實(shí)例和文檔集板祝，用于使在Hadoop的生態(tài)系統(tǒng)上建立系統(tǒng)更加容易宫静；
Metamarkets Druid ：用于大數(shù)據(jù)集的實(shí)時(shí)e框架；
Onyx ：分布式云計(jì)算券时；
Pinterest Pinlater ：異步任務(wù)執(zhí)行系統(tǒng)孤里；
Pydoop ：用于Hadoop的Python MapReduce和HDFS API；
Rackerlabs Blueflood ：多租戶分布式測(cè)度處理系統(tǒng)橘洞；
Stratosphere ：通用集群計(jì)算框架捌袜；
Streamdrill ：用于計(jì)算基于不同時(shí)間窗口的事件流的活動(dòng)，并找到最活躍的一個(gè)炸枣；
Tuktu ：易于使用的用于分批處理和流計(jì)算的平臺(tái)虏等，通過(guò)Scala、 Akka和Play所建适肠；
Twitter Scalding：基于Cascading霍衫，用于Map Reduce工作的Scala庫(kù)；
Twitter Summingbird ：在Twitter上使用Scalding和Storm串流MapReduce侯养；
Twitter TSAR ：Twitter上的時(shí)間序列聚合器慕淡。

分布式文件系統(tǒng)
Apache HDFS：在多臺(tái)機(jī)器上存儲(chǔ)大型文件的方式；
BeeGFS：以前是FhGFS沸毁，并行分布式文件系統(tǒng)峰髓；
Ceph Filesystem：設(shè)計(jì)的軟件存儲(chǔ)平臺(tái)；
Disco DDFS：分布式文件系統(tǒng)息尺；
Facebook Haystack：對(duì)象存儲(chǔ)系統(tǒng)携兵；
Google Colossus：分布式文件系統(tǒng)(GFS2)；
Google GFS：分布式文件系統(tǒng)搂誉；
Google Megastore：可擴(kuò)展的徐紧、高度可用的存儲(chǔ)；
GridGain：兼容GGFS、Hadoop內(nèi)存的文件系統(tǒng)并级；
Lustre file system：高性能分布式文件系統(tǒng)拂檩；
Quantcast File System QFS：開(kāi)源分布式文件系統(tǒng)；
Red Hat GlusterFS：向外擴(kuò)展的附網(wǎng)存儲(chǔ)（Network-attached Storage）文件系統(tǒng)嘲碧；
Seaweed-FS：簡(jiǎn)單的稻励、高度可擴(kuò)展的分布式文件系統(tǒng)；
Alluxio：以可靠的存儲(chǔ)速率在跨集群框架上文件共享愈涩；
Tahoe-LAFS：分布式云存儲(chǔ)系統(tǒng)望抽；

文件數(shù)據(jù)模型
Actian Versant：商用的面向?qū)ο髷?shù)據(jù)庫(kù)管理系統(tǒng)；
Crate Data：是一個(gè)開(kāi)源的大規(guī)穆耐瘢可擴(kuò)展的數(shù)據(jù)存儲(chǔ)煤篙，需要零管理模式；
Facebook Apollo：Facebook的Paxos算法毁腿，類似于NoSQL數(shù)據(jù)庫(kù)辑奈；
jumboDB：基于Hadoop的面向文檔的數(shù)據(jù)存儲(chǔ)；
LinkedIn Espresso：可橫向擴(kuò)展的面向文檔的NoSQL數(shù)據(jù)存儲(chǔ)已烤；
MarkLogic：模式不可知的企業(yè)版NoSQL數(shù)據(jù)庫(kù)技術(shù)鸠窗；
MongoDB：面向文檔的數(shù)據(jù)庫(kù)系統(tǒng)；
RavenDB：一個(gè)事務(wù)性的草戈，開(kāi)源文檔數(shù)據(jù)庫(kù)塌鸯；
RethinkDB：支持連接查詢和群組依據(jù)等查詢的文檔型數(shù)據(jù)庫(kù)。

Key Map 數(shù)據(jù)模型
注意：業(yè)內(nèi)存在一些術(shù)語(yǔ)混亂唐片，有兩個(gè)不同的東西都叫做“列式數(shù)據(jù)庫(kù)”丙猬。這里列出的有一些是圍繞“key-map”數(shù)據(jù)模型而建的分布式、持續(xù)型數(shù)據(jù)庫(kù)费韭，其中所有的數(shù)據(jù)都有（可能綜合了）鍵茧球，并與映射中的鍵-值對(duì)相關(guān)聯(lián)。在一些系統(tǒng)中星持，多個(gè)這樣的值映射可以與鍵相關(guān)聯(lián)抢埋，并且這些映射被稱為“列族”（具有映射值的鍵被稱為“列”）。
另一組也可稱為“列式數(shù)據(jù)庫(kù)”的技術(shù)因其存儲(chǔ)數(shù)據(jù)的方式而有別于前一組督暂，它在磁盤(pán)上或在存儲(chǔ)器中——而不是以傳統(tǒng)方式揪垄，即所有既定鍵的鍵值都相鄰著、逐行存儲(chǔ)逻翁。這些系統(tǒng)也彼此相鄰來(lái)存儲(chǔ)所有列值饥努，但是要得到給定列的所有值卻不需要以前那么繁復(fù)的工作。
前一組在這里被稱為“key map數(shù)據(jù)模型”八回，這兩者和Key-value 數(shù)據(jù)模型之間的界限是相當(dāng)模糊的酷愧。后者對(duì)數(shù)據(jù)模型有更多的存儲(chǔ)格式驾诈，可在列式數(shù)據(jù)庫(kù)中列出。若想了解更多關(guān)于這兩種模型的區(qū)分溶浴，可閱讀Daniel Abadi的博客：Distinguishing two major types of Column Stores乍迄。
Apache Accumulo：內(nèi)置在Hadoop上的分布式鍵/值存儲(chǔ)；
Apache Cassandra：由BigTable授權(quán)士败，面向列的分布式數(shù)據(jù)存儲(chǔ)闯两；
Apache HBase：由BigTable授權(quán)，面向列的分布式數(shù)據(jù)存儲(chǔ)拱烁；
Facebook HydraBase：Facebook所開(kāi)發(fā)的HBase的衍化品生蚁；
Google BigTable：面向列的分布式數(shù)據(jù)存儲(chǔ)噩翠；
Google Cloud Datastore：為完全管理型的無(wú)模式數(shù)據(jù)庫(kù)戏自，用于存儲(chǔ)在BigTable上非關(guān)系型數(shù)據(jù)；
Hypertable：由BigTable授權(quán)伤锚，面向列的分布式數(shù)據(jù)存儲(chǔ)擅笔；
InfiniDB：通過(guò)MySQL的接口訪問(wèn)，并使用大規(guī)模并行處理進(jìn)行并行查詢屯援；
Tephra：用于HBase處理猛们；
Twitter Manhattan：Twitter的實(shí)時(shí)、多租戶分布式數(shù)據(jù)庫(kù)狞洋。

鍵-值數(shù)據(jù)模型
Aerospike：支持NoSQL的閃存優(yōu)化弯淘，數(shù)據(jù)存儲(chǔ)在內(nèi)存。開(kāi)源吉懊，“’C’（不是Java或Erlang）中的服務(wù)器代碼可精確地調(diào)整從而避免上下文切換和內(nèi)存拷貝”庐橙。
Amazon DynamoDB：分布式鍵/值存儲(chǔ)，Dynamo論文的實(shí)現(xiàn)借嗽；
Edis：為替代Redis的協(xié)議兼容的服務(wù)器态鳖；
ElephantDB：專門(mén)研究Hadoop中數(shù)據(jù)導(dǎo)出的分布式數(shù)據(jù)庫(kù)；
EventStore：分布式時(shí)間序列數(shù)據(jù)庫(kù)恶导；
GridDB：適用于存儲(chǔ)在時(shí)間序列中的傳感器數(shù)據(jù)浆竭；
LinkedIn Krati：簡(jiǎn)單的持久性數(shù)據(jù)存儲(chǔ)，擁有低延遲和高吞吐量惨寿；
Linkedin Voldemort：分布式鍵/值存儲(chǔ)系統(tǒng)邦泄；
Oracle NoSQL Database：Oracle公司開(kāi)發(fā)的分布式鍵值數(shù)據(jù)庫(kù)；
Redis：內(nèi)存中的鍵值數(shù)據(jù)存儲(chǔ)裂垦；
Riak：分散式數(shù)據(jù)存儲(chǔ)顺囊；
Storehaus：Twitter開(kāi)發(fā)的異步鍵值存儲(chǔ)的庫(kù)；
Tarantool：一個(gè)高效的NoSQL數(shù)據(jù)庫(kù)和Lua應(yīng)用服務(wù)器缸废；
TiKV：由Google Spanner和HBase授權(quán)包蓝，Rust提供技術(shù)支持的分布式鍵值數(shù)據(jù)庫(kù)驶社；
TreodeDB：可復(fù)制、共享的鍵-值存儲(chǔ)测萎，能提供多行原子寫(xiě)入亡电。

圖形數(shù)據(jù)模型
Apache Giraph：基于Hadoop的Pregel實(shí)現(xiàn)；
Apache Spark Bagel：可實(shí)現(xiàn)Pregel硅瞧，為Spark的一部分份乒；
ArangoDB：多層模型分布式數(shù)據(jù)庫(kù)；
DGraph：一個(gè)可擴(kuò)展的腕唧、分布式或辖、低時(shí)延、高吞吐量的圖形數(shù)據(jù)庫(kù)枣接，旨在為Google生產(chǎn)水平規(guī)模和吞吐量提供足夠的低延遲颂暇，用于TB級(jí)的結(jié)構(gòu)化數(shù)據(jù)的實(shí)時(shí)用戶查詢；
Facebook TAO：TAO是facebook廣泛用來(lái)存儲(chǔ)和服務(wù)于社交圖形的分布式數(shù)據(jù)存儲(chǔ)但惶；
GCHQ Gaffer：GCHQ中的Gaffer是一個(gè)易于存儲(chǔ)大規(guī)模圖形的框架耳鸯，其中節(jié)點(diǎn)和邊緣都有統(tǒng)計(jì)數(shù)據(jù)；
Google Cayley：開(kāi)源圖形數(shù)據(jù)庫(kù)膀曾；
Google Pregel ：圖形處理框架县爬；
GraphLab PowerGraph：核心C ++ GraphLab API和建立在GraphLab API之上的高性能機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘工具包的集合；
GraphX：Spark中的彈性分布式圖形系統(tǒng)添谊；
Gremlin：圖形追蹤語(yǔ)言财喳；
Infovore：以RDF為中心的Map / Reduce框架；
Intel GraphBuilder：在Hadoop上構(gòu)建大規(guī)模圖形的工具斩狱；
MapGraph：用于在GPU上大規(guī)模并行圖形處理耳高；
Neo4j：完全用Java寫(xiě)入的圖形數(shù)據(jù)庫(kù)；
OrientDB：文檔和圖形數(shù)據(jù)庫(kù)喊废；
Phoebus：大型圖形處理框架祝高；
Titan：建于Cassandra的分布式圖形數(shù)據(jù)庫(kù)；
Twitter FlockDB：分布式圖形數(shù)據(jù)庫(kù)污筷。

NewSQL數(shù)據(jù)庫(kù)
Actian Ingres：由商業(yè)支持工闺，開(kāi)源的SQL關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)；
Amazon RedShift：基于PostgreSQL的數(shù)據(jù)倉(cāng)庫(kù)服務(wù)瓣蛀；
BayesDB：面向統(tǒng)計(jì)數(shù)值的SQL數(shù)據(jù)庫(kù)陆蟆；
CitusDB：通過(guò)分區(qū)和復(fù)制橫向擴(kuò)展PostgreSQL；
Cockroach：可擴(kuò)展惋增、地址可復(fù)制叠殷、交易型的數(shù)據(jù)庫(kù)；
Datomic：旨在產(chǎn)生可擴(kuò)展诈皿、靈活的智能應(yīng)用的分布式數(shù)據(jù)庫(kù)林束；
FoundationDB：由F1授意的分布式數(shù)據(jù)庫(kù)像棘；
Google F1：建立在Spanner上的分布式SQL數(shù)據(jù)庫(kù)；
Google Spanner：全球性的分布式半關(guān)系型數(shù)據(jù)庫(kù)壶冒；
H-Store：是一個(gè)實(shí)驗(yàn)性主存并行數(shù)據(jù)庫(kù)管理系統(tǒng)缕题，用于聯(lián)機(jī)事務(wù)處理（OLTP）應(yīng)用的優(yōu)化；
Haeinsa：基于Percolator胖腾，HBase的線性可擴(kuò)展多行多表交易庫(kù)烟零；
HandlerSocket：MySQL/MariaDB的NoSQL插件；
InfiniSQL：無(wú)限可擴(kuò)展的RDBMS咸作；
MemSQL：內(nèi)存中的SQL數(shù)據(jù)庫(kù)锨阿，其中有優(yōu)化的閃存列存儲(chǔ)；
NuoDB：SQL / ACID兼容的分布式數(shù)據(jù)庫(kù)记罚；
Oracle TimesTen in-Memory Database：內(nèi)存中具有持久性和可恢復(fù)性的關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng)墅诡；
Pivotal GemFire XD：內(nèi)存中低延時(shí)的分布式SQL數(shù)據(jù)存儲(chǔ)，可為內(nèi)存列表數(shù)據(jù)提供SQL接口毫胜，在HDFS中較持久化书斜；
SAP HANA：是在內(nèi)存中面向列的關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng)诬辈；
SenseiDB：分布式實(shí)時(shí)半結(jié)構(gòu)化的數(shù)據(jù)庫(kù)酵使；
Sky：用于行為數(shù)據(jù)的靈活、高性能分析的數(shù)據(jù)庫(kù)焙糟；
SymmetricDS：用于文件和數(shù)據(jù)庫(kù)同步的開(kāi)源軟件口渔；
Map-D：為GPU內(nèi)存數(shù)據(jù)庫(kù)，也為大數(shù)據(jù)分析和可視化平臺(tái)穿撮；
TiDB：TiDB是分布式SQL數(shù)據(jù)庫(kù)缺脉，基于谷歌F1的設(shè)計(jì)靈感；
VoltDB：自稱為最快的內(nèi)存數(shù)據(jù)庫(kù)悦穿。

列式數(shù)據(jù)庫(kù)
注意：請(qǐng)?jiān)?a target="_blank" rel="nofollow">鍵-值數(shù)據(jù)模型 閱讀相關(guān)注釋攻礼。
Columnar Storage：解釋什么是列存儲(chǔ)以及何時(shí)會(huì)需要用到它；
Actian Vector：面向列的分析型數(shù)據(jù)庫(kù)栗柒；
C-Store：面向列的DBMS礁扮；
MonetDB：列存儲(chǔ)數(shù)據(jù)庫(kù)；
Parquet：Hadoop的列存儲(chǔ)格式瞬沦；
Pivotal Greenplum：專門(mén)設(shè)計(jì)的浮声、專用的分析數(shù)據(jù)倉(cāng)庫(kù)揩徊，類似于傳統(tǒng)的基于行的工具，提供了一個(gè)列式工具；
Vertica：用來(lái)管理大規(guī)模唆香、快速增長(zhǎng)的大量數(shù)據(jù)，當(dāng)用于數(shù)據(jù)倉(cāng)庫(kù)時(shí)腰耙，能夠提供非常快的查詢性能立肘；
Google BigQuery ：谷歌的云產(chǎn)品，由其在Dremel的創(chuàng)始工作提供支持名扛；
Amazon Redshift ：亞馬遜的云產(chǎn)品赛不，它也是基于柱狀數(shù)據(jù)存儲(chǔ)后端。

時(shí)間序列數(shù)據(jù)庫(kù)
Cube：使用MongoDB來(lái)存儲(chǔ)時(shí)間序列數(shù)據(jù)罢洲；
Axibase Time Series Database：在HBase之上的分布式時(shí)間序列數(shù)據(jù)庫(kù)踢故，它包括內(nèi)置的Rule Engine、數(shù)據(jù)預(yù)測(cè)和可視化惹苗；
Heroic：基于Cassandra和Elasticsearch的可擴(kuò)展的時(shí)間序列數(shù)據(jù)庫(kù)殿较；
InfluxDB：分布式時(shí)間序列數(shù)據(jù)庫(kù)；
Kairosdb：類似于OpenTSDB但會(huì)考慮到Cassandra桩蓉；
OpenTSDB：在HBase上的分布式時(shí)間序列數(shù)據(jù)庫(kù)淋纲；
Prometheus：一種時(shí)間序列數(shù)據(jù)庫(kù)和服務(wù)監(jiān)測(cè)系統(tǒng)；
Newts：一種基于Apache Cassandra的時(shí)間序列數(shù)據(jù)庫(kù)院究。

類SQL處理
Actian SQL for Hadoop：高性能交互式的SQL洽瞬，可訪問(wèn)所有的Hadoop數(shù)據(jù)；
Apache Drill：由Dremel授意的交互式分析框架业汰；
Apache HCatalog：Hadoop的表格和存儲(chǔ)管理層伙窃；
Apache Hive：Hadoop的類SQL數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)；
Apache Optiq：一種框架样漆，可允許高效的查詢翻譯为障，其中包括異構(gòu)性及聯(lián)合性數(shù)據(jù)的查詢；
Apache Phoenix：Apache Phoenix 是 HBase 的 SQL 驅(qū)動(dòng)放祟；
Cloudera Impala：由Dremel授意的交互式分析框架鳍怨；
Concurrent Lingual：Cascading中的類SQL查詢語(yǔ)言；
Datasalt Splout SQL：用于大數(shù)據(jù)集的完整的SQL查詢工具跪妥；
Facebook PrestoDB：分布式SQL查詢工具鞋喇；
Google BigQuery：交互式分析框架，Dremel的實(shí)現(xiàn)眉撵；
Pivotal HAWQ：Hadoop的類SQL的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)侦香；
RainstorDB：用于存儲(chǔ)大規(guī)模PB級(jí)結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)庫(kù)；
Spark Catalyst：用于Spark和Shark的查詢優(yōu)化框架执桌；
SparkSQL：使用Spark操作結(jié)構(gòu)化數(shù)據(jù)鄙皇；
Splice Machine：一個(gè)全功能的Hadoop上的SQL RDBMS，并帶有ACID事務(wù)仰挣；
Stinger：用于Hive的交互式查詢伴逸；
Tajo：Hadoop的分布式數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)；
Trafodion：為企業(yè)級(jí)的SQL-on-HBase針對(duì)大數(shù)據(jù)的事務(wù)或業(yè)務(wù)工作負(fù)載的解決方案膘壶。

數(shù)據(jù)攝取
Amazon Kinesis：大規(guī)模數(shù)據(jù)流的實(shí)時(shí)處理错蝴；
Apache Chukwa：數(shù)據(jù)采集系統(tǒng)洲愤；
Apache Flume：管理大量日志數(shù)據(jù)的服務(wù)；
Apache Kafka：分布式發(fā)布-訂閱消息系統(tǒng)顷锰；
Apache Sqoop：在Hadoop和結(jié)構(gòu)化的數(shù)據(jù)存儲(chǔ)區(qū)之間傳送數(shù)據(jù)的工具柬赐；
Cloudera Morphlines：幫助 Solr、HBase和HDFS完成ETL的框架官紫；
Facebook Scribe：流日志數(shù)據(jù)聚合器肛宋；
Fluentd：采集事件和日志的工具；
Google Photon：實(shí)時(shí)連接多個(gè)數(shù)據(jù)流的分布式計(jì)算機(jī)系統(tǒng)束世，具有高可擴(kuò)展性和低延遲性酝陈；
Heka：開(kāi)源流處理軟件系統(tǒng)；
HIHO：用Hadoop連接不同數(shù)據(jù)源的框架毁涉；
Kestrel：分布式消息隊(duì)列系統(tǒng)沉帮；
LinkedIn Databus：對(duì)數(shù)據(jù)庫(kù)更改捕獲的事件流；
LinkedIn Kamikaze：壓縮已分類整型數(shù)組的程序包贫堰；
LinkedIn White Elephant：日志聚合器和儀表板穆壕；
Logstash：用于管理事件和日志的工具；
Netflix Suro：像基于Chukwa 的Storm和Samza一樣的日志聚合器其屏；
Pinterest Secor：是實(shí)現(xiàn)Kafka日志持久性的服務(wù)喇勋；
Linkedin Gobblin：LinkedIn的通用數(shù)據(jù)攝取框架；
Skizze：是一種數(shù)據(jù)存儲(chǔ)略圖漫玄，使用概率性數(shù)據(jù)結(jié)構(gòu)來(lái)處理計(jì)數(shù)茄蚯、略圖等相關(guān)的問(wèn)題；
StreamSets Data Collector：連續(xù)大數(shù)據(jù)采集的基礎(chǔ)設(shè)施睦优，可簡(jiǎn)單地使用IDE。

服務(wù)編程
Akka Toolkit：JVM中分布性壮不、容錯(cuò)事件驅(qū)動(dòng)應(yīng)用程序的運(yùn)行時(shí)間汗盘；
Apache Avro：數(shù)據(jù)序列化系統(tǒng)；
Apache Curator：Apache ZooKeeper的Java庫(kù)询一；
Apache Karaf：在任何OSGi框架之上運(yùn)行的OSGi運(yùn)行時(shí)間隐孽；
Apache Thrift：構(gòu)建二進(jìn)制協(xié)議的框架；
Apache Zookeeper：流程管理集中式服務(wù)健蕊；
Google Chubby：一種松耦合分布式系統(tǒng)鎖服務(wù)菱阵；
Linkedin Norbert：集群管理器；
OpenMPI：消息傳遞框架缩功；
Serf：服務(wù)發(fā)現(xiàn)和協(xié)調(diào)的分散化解決方案晴及；
Spotify Luigi：一種構(gòu)建批處理作業(yè)的復(fù)雜管道的Python包，它能夠處理依賴性解析嫡锌、工作流管理虑稼、可視化琳钉、故障處理、命令行一體化等等問(wèn)題蛛倦；
Spring XD：數(shù)據(jù)攝取歌懒、實(shí)時(shí)分析、批量處理和數(shù)據(jù)導(dǎo)出的分布式溯壶、可擴(kuò)展系統(tǒng)及皂；
Twitter Elephant Bird：LZO壓縮數(shù)據(jù)的工作庫(kù)；
Twitter Finagle：JVM的異步網(wǎng)絡(luò)堆棧且改。

調(diào)度
Apache Aurora：在Apache Mesos之上運(yùn)行的服務(wù)調(diào)度程序躲庄；
Apache Falcon：數(shù)據(jù)管理框架；
Apache Oozie：工作流作業(yè)調(diào)度程序钾虐；
Chronos：分布式容錯(cuò)調(diào)度噪窘；
Linkedin Azkaban：批處理工作流作業(yè)調(diào)度；
Schedoscope：Hadoop作業(yè)敏捷調(diào)度的Scala DSL效扫；
Sparrow：調(diào)度平臺(tái)倔监；
Airflow：一個(gè)以編程方式編寫(xiě)、調(diào)度和監(jiān)控工作流的平臺(tái)菌仁。

機(jī)器學(xué)習(xí)
Apache Mahout：Hadoop的機(jī)器學(xué)習(xí)庫(kù)浩习；
brain：JavaScript中的神經(jīng)網(wǎng)絡(luò)；
Cloudera Oryx：實(shí)時(shí)大規(guī)模機(jī)器學(xué)習(xí)济丘；
Concurrent Pattern：Cascading的機(jī)器學(xué)習(xí)庫(kù)谱秽；
convnetjs：Javascript中的機(jī)器學(xué)習(xí)，在瀏覽器中訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)（或普通網(wǎng)絡(luò)）摹迷；
Decider：Ruby中靈活疟赊、可擴(kuò)展的機(jī)器學(xué)習(xí)；
ENCOG：支持多種先進(jìn)算法的機(jī)器學(xué)習(xí)框架峡碉，同時(shí)支持類的標(biāo)準(zhǔn)化和處理數(shù)據(jù)近哟；
etcML：機(jī)器學(xué)習(xí)文本分類；
Etsy Conjecture：Scalding中可擴(kuò)展的機(jī)器學(xué)習(xí)鲫寄；
Google Sibyl：Google中的大規(guī)模機(jī)器學(xué)習(xí)系統(tǒng)吉执；
GraphLab Create：Python的機(jī)器學(xué)習(xí)平臺(tái)，包括ML工具包地来、數(shù)據(jù)工程和部署工具的廣泛集合戳玫；
H2O：Hadoop統(tǒng)計(jì)性的機(jī)器學(xué)習(xí)和數(shù)學(xué)運(yùn)行時(shí)間；
MLbase：用于BDAS堆棧的分布式機(jī)器學(xué)習(xí)庫(kù)未斑；
MLPNeuralNet：針對(duì)iOS和Mac OS X的快速多層感知神經(jīng)網(wǎng)絡(luò)庫(kù)咕宿；
MonkeyLearn：使文本挖掘更為容易，從文本中提取分類數(shù)據(jù)；
nupic：智能計(jì)算的Numenta平臺(tái)荠列，它是一個(gè)啟發(fā)大腦的機(jī)器智力平臺(tái)类浪，基于皮質(zhì)學(xué)習(xí)算法的精準(zhǔn)的生物神經(jīng)網(wǎng)絡(luò)；
PredictionIO：建于Hadoop肌似、Mahout和Cascading上的機(jī)器學(xué)習(xí)服務(wù)器费就；
SAMOA：分布式流媒體機(jī)器學(xué)習(xí)框架；
scikit-learn：scikit-learn為Python中的機(jī)器學(xué)習(xí)川队；
Spark MLlib：Spark中一些常用的機(jī)器學(xué)習(xí)（ML）功能的實(shí)現(xiàn)力细；
Vowpal Wabbit：微軟和雅虎發(fā)起的學(xué)習(xí)系統(tǒng)；
WEKA：機(jī)器學(xué)習(xí)軟件套件固额；
BidMach：CPU和加速GPU的機(jī)器學(xué)習(xí)庫(kù)眠蚂。

基準(zhǔn)測(cè)試
Apache Hadoop Benchmarking：測(cè)試Hadoop性能的微基準(zhǔn)；
Berkeley SWIM Benchmark：現(xiàn)實(shí)大數(shù)據(jù)工作負(fù)載基準(zhǔn)測(cè)試斗躏；
Intel HiBench：Hadoop基準(zhǔn)測(cè)試套件逝慧；
PUMA Benchmarking：MapReduce應(yīng)用的基準(zhǔn)測(cè)試套件；
Yahoo Gridmix3：雅虎工程師團(tuán)隊(duì)的Hadoop集群基準(zhǔn)測(cè)試啄糙。

安全性
Apache Knox Gateway：Hadoop集群安全訪問(wèn)的單點(diǎn)笛臣；
Apache Sentry：存儲(chǔ)在Hadoop的數(shù)據(jù)安全模塊。

系統(tǒng)部署
Apache Ambari：Hadoop管理的運(yùn)作框架隧饼；
Apache Bigtop：Hadoop生態(tài)系統(tǒng)的部署框架沈堡；
Apache Helix：集群管理框架；
Apache Mesos：集群管理器燕雁；
Apache Slider：一種YARN應(yīng)用诞丽，用來(lái)部署YARN中現(xiàn)有的分布式應(yīng)用程序；
Apache Whirr：運(yùn)行云服務(wù)的庫(kù)集拐格；
Apache YARN：集群管理器僧免；
Brooklyn：用于簡(jiǎn)化應(yīng)用程序部署和管理的庫(kù)；
Buildoop：基于Groovy語(yǔ)言禁荒，和Apache BigTop類似猬膨；
Cloudera HUE：和Hadoop進(jìn)行交互的Web應(yīng)用程序；
Facebook Prism：多數(shù)據(jù)中心復(fù)制系統(tǒng)呛伴；
Google Borg：作業(yè)調(diào)度和監(jiān)控系統(tǒng)；
Google Omega：作業(yè)調(diào)度和監(jiān)控系統(tǒng)谒所；
Hortonworks HOYA：可在YARN上部署HBase集群的應(yīng)用热康；
Marathon：用于長(zhǎng)期運(yùn)行服務(wù)的Mesos框架。

應(yīng)用程序
Adobe spindle：使用Scala劣领、Spark和Parquet處理的下一代web分析姐军；
Apache Kiji：基于HBase，實(shí)時(shí)采集和分析數(shù)據(jù)的框架；
Apache Nutch：開(kāi)源網(wǎng)絡(luò)爬蟲(chóng)奕锌；
Apache OODT：用于NASA科學(xué)檔案中數(shù)據(jù)的捕獲著觉、處理和共享；
Apache Tika：內(nèi)容分析工具包惊暴；
Argus：時(shí)間序列監(jiān)測(cè)和報(bào)警平臺(tái)饼丘；
Countly：基于Node.js和MongoDB，開(kāi)源的手機(jī)和網(wǎng)絡(luò)分析平臺(tái)辽话；
Domino：運(yùn)行肄鸽、規(guī)劃、共享和部署模型——沒(méi)有任何基礎(chǔ)設(shè)施油啤；
Eclipse BIRT：基于Eclipse的報(bào)告系統(tǒng)典徘；
Eventhub：開(kāi)源的事件分析平臺(tái)；
Hermes：建于Kafka上的異步消息代理益咬；
HIPI Library：在Hadoop’s MapReduce上執(zhí)行圖像處理任務(wù)的API逮诲；
Hunk：Hadoop的Splunk分析；
Imhotep：大規(guī)模分析平臺(tái)幽告；
MADlib：RDBMS的用于數(shù)據(jù)分析的數(shù)據(jù)處理庫(kù)梅鹦；
Kylin：來(lái)自eBay??的開(kāi)源分布式分析工具；
PivotalR：Pivotal HD / HAWQ和PostgreSQL中的R评腺；
Qubole：為自動(dòng)縮放Hadoop集群帘瞭，內(nèi)置的數(shù)據(jù)連接器；
Sense：用于數(shù)據(jù)科學(xué)和大數(shù)據(jù)分析的云平臺(tái)蒿讥；
SnappyData：用于實(shí)時(shí)運(yùn)營(yíng)分析的分布式內(nèi)存數(shù)據(jù)存儲(chǔ)蝶念，提供建立在Spark單一集成集群中的數(shù)據(jù)流分析、OLTP（聯(lián)機(jī)事務(wù)處理）和OLAP（聯(lián)機(jī)分析處理）芋绸；
Snowplow：企業(yè)級(jí)網(wǎng)絡(luò)和事件分析媒殉，由Hadoop、Kinesis摔敛、Redshift 和Postgres提供技術(shù)支持廷蓉；
SparkR：Spark的R前端；
Splunk：用于機(jī)器生成的數(shù)據(jù)的分析马昙；
Sumo Logic：基于云的分析儀桃犬，用于分析機(jī)器生成的數(shù)據(jù)；
Talend：用于YARN行楞、Hadoop攒暇、HBASE、Hive子房、HCatalog和Pig的統(tǒng)一開(kāi)源環(huán)境形用；
Warp：利用大數(shù)據(jù)（OS X app）的實(shí)例查詢工具就轧。

搜索引擎與框架
Apache Lucene：搜索引擎庫(kù)；
Apache Solr：用于Apache Lucene的搜索平臺(tái)田度；
ElasticSearch：基于Apache Lucene的搜索和分析引擎妒御；
Enigma.io：為免費(fèi)增值的健壯性web應(yīng)用，用于探索镇饺、篩選乎莉、分析、搜索和導(dǎo)出來(lái)自網(wǎng)絡(luò)的大規(guī)模數(shù)據(jù)集兰怠；
Facebook Unicorn：社交圖形搜索平臺(tái)梦鉴；
Google Caffeine：連續(xù)索引系統(tǒng)；
Google Percolator：連續(xù)索引系統(tǒng)揭保；
TeraGoogle：大型搜索索引肥橙；
HBase Coprocessor：為Percolator的實(shí)現(xiàn)，HBase的一部分秸侣；
Lily HBase Indexer：快速存筏、輕松地搜索存儲(chǔ)在HBase的任何內(nèi)容；
LinkedIn Bobo：完全由Java編寫(xiě)的分面搜索的實(shí)現(xiàn)味榛，為Apache Lucene的延伸椭坚；
LinkedIn Cleo：為一個(gè)一個(gè)靈活的軟件庫(kù)，使得局部搏色、無(wú)序善茎、實(shí)時(shí)預(yù)輸入的搜索實(shí)現(xiàn)了快速發(fā)展；
LinkedIn Galene：LinkedIn搜索架構(gòu)频轿；
LinkedIn Zoie：是用Java編寫(xiě)的實(shí)時(shí)搜索/索引系統(tǒng)垂涯；
Sphinx Search Server：全文搜索引擎

MySQL的分支和演化
Amazon RDS：亞馬遜云的MySQL數(shù)據(jù)庫(kù)；
Drizzle：MySQL的6.0的演化航邢；
Google Cloud SQL：谷歌云的MySQL數(shù)據(jù)庫(kù)耕赘；
MariaDB：MySQL的增強(qiáng)版嵌入式替代品；
MySQL Cluster：使用NDB集群存儲(chǔ)引擎的MySQL實(shí)現(xiàn)膳殷；
Percona Server：MySQL的增強(qiáng)版嵌入式替代品操骡；
ProxySQL：MySQL的高性能代理；
TokuDB：用于MySQL和 MariaDB的存儲(chǔ)引擎赚窃；
WebScaleSQL：運(yùn)行MySQL時(shí)面臨類似挑戰(zhàn)的幾家公司册招，它們的工程師之間的合作。

PostgreSQL的分支和演化
Yahoo Everest – multi-peta-byte database / MPP derived by PostgreSQL.
HadoopDB：MapReduce和DBMS的混合體勒极；
IBM Netezza：高性能數(shù)據(jù)倉(cāng)庫(kù)設(shè)備跨细；
Postgres-XL：基于PostgreSQL，可擴(kuò)展的開(kāi)源數(shù)據(jù)庫(kù)集群河质；
RecDB：完全建立在PostgreSQL內(nèi)部的開(kāi)源推薦引擎；
Stado：開(kāi)源MPP數(shù)據(jù)庫(kù)系統(tǒng)，只針對(duì)數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集市的應(yīng)用程序掀鹅；
Yahoo Everest：PostgreSQL可以推導(dǎo)多字節(jié)P比特?cái)?shù)據(jù)庫(kù)/MPP散休。

Memcached的分支和演化
Facebook McDipper：閃存的鍵/值緩存；
Facebook Memcached：Memcache的分支乐尊；
Twemproxy：Memcached和Redis的快速戚丸、輕型代理；
Twitter Fatcache：閃存的鍵/值緩存扔嵌；
Twitter Twemcache：Memcache的分支限府。

嵌入式數(shù)據(jù)庫(kù)
Actian PSQL：Pervasive Software公司開(kāi)發(fā)的ACID兼容的DBMS，在應(yīng)用程序中嵌入了優(yōu)化痢缎；
BerkeleyDB：為鍵/值數(shù)據(jù)提供一個(gè)高性能的嵌入式數(shù)據(jù)庫(kù)的一個(gè)軟件庫(kù)胁勺；
HanoiDB：Erlang LSM BTree存儲(chǔ)；
LevelDB：谷歌寫(xiě)的一個(gè)快速鍵-值存儲(chǔ)庫(kù)独旷，它提供了從字符串鍵到字符串值的有序映射署穗；
LMDB：Symas開(kāi)發(fā)的超快、超緊湊的鍵-值嵌入的式數(shù)據(jù)存儲(chǔ)嵌洼；
RocksDB：基于性LevelDB案疲，用于快速存儲(chǔ)的嵌入式持續(xù)性鍵-值存儲(chǔ)。

商業(yè)智能
BIME Analytics：商業(yè)智能云平臺(tái)麻养；
Chartio：精益業(yè)務(wù)智能平臺(tái)褐啡，用于可視化和探索數(shù)據(jù)；
datapine：基于云的自助服務(wù)商業(yè)智能工具鳖昌；
Jaspersoft：功能強(qiáng)大的商業(yè)智能套件备畦；
Jedox Palo：定制的商業(yè)智能平臺(tái)；
Microsoft：商業(yè)智能軟件和平臺(tái)遗遵；
Microstrategy：商業(yè)智能萍恕、移動(dòng)智能和網(wǎng)絡(luò)應(yīng)用軟件平臺(tái)；
Pentaho：商業(yè)智能平臺(tái)车要；
Qlik：商業(yè)智能和分析平臺(tái)允粤；
Saiku：開(kāi)源的分析平臺(tái)；
SpagoBI：開(kāi)源商業(yè)智能平臺(tái)翼岁；
Tableau：商業(yè)智能平臺(tái)类垫；
Zoomdata：大數(shù)據(jù)分析；
Jethrodata：交互式大數(shù)據(jù)分析琅坡。

數(shù)據(jù)可視化
Airpal：用于PrestoDB的網(wǎng)頁(yè)UI悉患；
Arbor：利用網(wǎng)絡(luò)工作者和jQuery的圖形可視化庫(kù)；
Banana：對(duì)存儲(chǔ)在Kibana中Solr. Port的日志和時(shí)戳數(shù)據(jù)進(jìn)行可視化榆俺；
Bokeh：一個(gè)功能強(qiáng)大的Python交互式可視化庫(kù)售躁，它針對(duì)要展示的現(xiàn)代web瀏覽器坞淮，旨在為D3.js風(fēng)格的新奇的圖形提供優(yōu)雅簡(jiǎn)潔的設(shè)計(jì)，同時(shí)在大規(guī)模數(shù)據(jù)或流數(shù)據(jù)集中陪捷，通過(guò)高性能交互性來(lái)表達(dá)這種能力回窘；
C3：基于D3可重復(fù)使用的圖表庫(kù)；
CartoDB：開(kāi)源或免費(fèi)增值的虛擬主機(jī)市袖，用于帶有強(qiáng)大的前端編輯功能和API的地理空間數(shù)據(jù)庫(kù)啡直；
chartd：只帶Img標(biāo)簽的反應(yīng)靈敏、兼容Retina的圖表苍碟；
Chart.js：開(kāi)源的HTML5圖表可視化效果酒觅；
Chartist.js：另一個(gè)開(kāi)源HTML5圖表可視化效果；
Crossfilter：JavaScript庫(kù)微峰，用于在瀏覽器中探索多元大數(shù)據(jù)集舷丹，用Dc.js和D3.js.效果很好；
Cubism：用于時(shí)間序列可視化的JavaScript庫(kù)县忌；
Cytoscape：用于可視化復(fù)雜網(wǎng)絡(luò)的JavaScript庫(kù)掂榔；
DC.js：維度圖表，和Crossfilter一起使用症杏，通過(guò)D3.js呈現(xiàn)出來(lái)装获，它比較擅長(zhǎng)連接圖表/附加的元數(shù)據(jù)，從而徘徊在D3的事件附近厉颤；
D3：操作文件的JavaScript庫(kù)酒繁；
D3.compose：從可重復(fù)使用的圖表和組件構(gòu)成復(fù)雜的槽棍、數(shù)據(jù)驅(qū)動(dòng)的可視化因俐；
D3Plus：一組相當(dāng)強(qiáng)大的可重用的圖表化借，還有D3.js的樣式；
Echarts：百度企業(yè)場(chǎng)景圖表帜乞；
Envisionjs：動(dòng)態(tài)HTML5可視化司抱；
FnordMetric：寫(xiě)SQL查詢，返回SVG圖表黎烈，而不是表习柠；
Freeboard：針對(duì)IOT和其他Web混搭的開(kāi)源實(shí)時(shí)儀表盤(pán)構(gòu)建；
Gephi：屢獲殊榮的開(kāi)源平臺(tái)照棋，可視化和操縱大型圖形和網(wǎng)絡(luò)連接资溃，有點(diǎn)像Photoshop，但是針對(duì)于圖表烈炭，適用于Windows和Mac OS X溶锭；
Google Charts：簡(jiǎn)單的圖表API；
Grafana：石墨儀表板前端符隙、編輯器和圖形組合器趴捅；
Graphite：可擴(kuò)展的實(shí)時(shí)圖表垫毙；
Highcharts：簡(jiǎn)單而靈活的圖表API；
IPython：為交互式計(jì)算提供豐富的架構(gòu)驻售；
Kibana：可視化日志和時(shí)間標(biāo)記數(shù)據(jù)露久；
Matplotlib：Python繪圖；
Metricsgraphic.js：建立在D3之上的庫(kù)欺栗，針對(duì)時(shí)間序列數(shù)據(jù)進(jìn)行最優(yōu)化；
NVD3：d3.js的圖表組件征峦；
Peity：漸進(jìn)式SVG條形圖迟几，折線和餅圖；
Plot.ly：易于使用的Web服務(wù)栏笆，它允許快速創(chuàng)建從熱圖到直方圖等復(fù)雜的圖表类腮，使用圖表Plotly的在線電子表格上傳數(shù)據(jù)進(jìn)行創(chuàng)建和設(shè)計(jì)；
Plotly.js：支持plotly的開(kāi)源JavaScript圖形庫(kù)蛉加；
Recline：簡(jiǎn)單但功能強(qiáng)大的庫(kù)蚜枢，純粹利用JavaScript和HTML構(gòu)建數(shù)據(jù)應(yīng)用；
Redash：查詢和可視化數(shù)據(jù)的開(kāi)源平臺(tái)针饥；
Shiny：針對(duì)R的Web應(yīng)用程序框架厂抽；
Sigma.js：JavaScript庫(kù)，專門(mén)用于圖形繪制丁眼；
Vega：一個(gè)可視化語(yǔ)法筷凤；
Zeppelin：一個(gè)筆記本式的協(xié)作數(shù)據(jù)分析；
Zing Charts：用于大數(shù)據(jù)的JavaScript圖表庫(kù)苞七。

物聯(lián)網(wǎng)和傳感器
TempoIQ：基于云的傳感器分析藐守；
2lemetry：物聯(lián)網(wǎng)平臺(tái)；
Pubnub：數(shù)據(jù)流網(wǎng)絡(luò)蹂风；
ThingWorx：ThingWorx 是讓企業(yè)快速創(chuàng)建和運(yùn)行互聯(lián)應(yīng)用程序平臺(tái)卢厂；
IFTTT：IFTTT 是一個(gè)被稱為 “網(wǎng)絡(luò)自動(dòng)化神器” 的創(chuàng)新型互聯(lián)網(wǎng)服務(wù)，它的全稱是 If this then that惠啄，意思是“如果這樣慎恒，那么就那樣”；
Evrythng：Evrythng則是一款真正意義上的大眾物聯(lián)網(wǎng)平臺(tái)礁阁，使得身邊的很多產(chǎn)品變得智能化巧号。

文章推薦
NoSQL Comparison（NoSQL 比較）- Cassandra vs MongoDB vs CouchDB vs Redis vs Riak vs HBase vs Couchbase vs Neo4j vs Hypertable vs ElasticSearch vs Accumulo vs VoltDB vs Scalaris comparison；
Big Data Benchmark（大數(shù)據(jù)基準(zhǔn)）- Redshift, Hive, Shark, Impala and Stiger/Tez的基準(zhǔn)姥闭；
The big data successor of the spreadsheet（電子表格的大數(shù)據(jù)繼承者） – 電子表格的繼承者應(yīng)該是大數(shù)據(jù)丹鸿。

論文
2015 – 2016
2015 – Facebook – One Trillion Edges: Graph Processing at Facebook-Scale.（一兆邊：Facebook規(guī)模的圖像處理）

2013 – 2014
2014 – **Stanford **- Mining of Massive Datasets.（海量數(shù)據(jù)集挖掘）
2013 – AMPLab – Presto: Distributed Machine Learning and Graph Processing with Sparse Matrices. （Presto： 稀疏矩陣的分布式機(jī)器學(xué)習(xí)和圖像處理）
2013 – AMPLab – MLbase: A Distributed Machine-learning System. （MLbase：分布式機(jī)器學(xué)習(xí)系統(tǒng)）
2013 – AMPLab - Shark: SQL and Rich Analytics at Scale. （Shark: 大規(guī)模的SQL 和豐富的分析）
2013 - AMPLab - GraphX: A Resilient Distributed Graph System on Spark. （GraphX:基于Spark的彈性分布式圖計(jì)算系統(tǒng)）
2013 - Google – HyperLogLog in Practice: Algorithmic Engineering of a State of The Art Cardinality Estimation Algorithm. （HyperLogLog實(shí)踐:一個(gè)藝術(shù)形態(tài)的基數(shù)估算算法）
2013 – **Microsoft - Scalable Progressive Analytics on Big Data in the Cloud.（云端大數(shù)據(jù)的可擴(kuò)展性漸進(jìn)分析）
2013 - Metamarkets - Druid: A Real-time Analytical Data Store. （Druid：實(shí)時(shí)分析數(shù)據(jù)存儲(chǔ)）
2013 – Google – Online, Asynchronous Schema Change in F1.（F1中在線、異步模式的轉(zhuǎn)變）
2013 - Google **- F1: A Distributed SQL Database That Scales. （F1: 分布式SQL數(shù)據(jù)庫(kù)）
2013 – Google – MillWheel: Fault-Tolerant Stream Processing at Internet Scale.（MillWheel: 互聯(lián)網(wǎng)規(guī)模下的容錯(cuò)流處理）
2013 – **Facebook - Scuba: Diving into Data at Facebook. （Scuba: 深入Facebook的數(shù)據(jù)世界）
2013 – Facebook – Unicorn: A System for Searching the Social Graph. （Unicorn: 一種搜索社交圖的系統(tǒng)）
2013 - Facebook **- Scaling Memcache at Facebook. （Facebook 對(duì) Memcache 伸縮性的增強(qiáng)）

2011 – 2012
2012 – Twitter – The Unified Logging Infrastructure for Data Analytics at Twitter. （Twitter數(shù)據(jù)分析的統(tǒng)一日志基礎(chǔ)結(jié)構(gòu)）
2012 – AMPLab –Blink and It’s Done: Interactive Queries on Very Large Data. （Blink及其完成：超大規(guī)模數(shù)據(jù)的交互式查詢）
2012 – AMPLab –Fast and Interactive Analytics over Hadoop Data with Spark. （Spark上 Hadoop數(shù)據(jù)的快速交互式分析）
2012 – AMPLab –Shark: Fast Data Analysis Using Coarse-grained Distributed Memory. （Shark：使用粗粒度的分布式內(nèi)存快速數(shù)據(jù)分析）
2012 – Microsoft –Paxos Replicated State Machines as the Basis of a High-Performance Data Store. （Paxos的復(fù)制狀態(tài)機(jī)——高性能數(shù)據(jù)存儲(chǔ)的基礎(chǔ)）
2012 – Microsoft –Paxos Made Parallel. （Paxos算法實(shí)現(xiàn)并行）
2012 – AMPLab – BlinkDB：BlinkDB: Queries with Bounded Errors and Bounded Response Times on Very Large Data.（超大規(guī)模數(shù)據(jù)中有限誤差與有界響應(yīng)時(shí)間的查詢）
2012 – Google –Processing a trillion cells per mouse click.（每次點(diǎn)擊處理一兆個(gè)單元格）
2012 – Google –Spanner: Google’s Globally-Distributed Database.（Spanner：谷歌的全球分布式數(shù)據(jù)庫(kù)）
2011 – AMPLab –Scarlett: Coping with Skewed Popularity Content in MapReduce Clusters.（Scarlett：應(yīng)對(duì)MapReduce集群中的偏向性內(nèi)容）
2011 – AMPLab –Mesos: A Platform for Fine-Grained Resource Sharing in the Data Center.（Mesos：數(shù)據(jù)中心中細(xì)粒度資源共享的平臺(tái)）
2011 – Google –Megastore: Providing Scalable, Highly Available Storage for Interactive Services.（Megastore：為交互式服務(wù)提供可擴(kuò)展棚品，高度可用的存儲(chǔ)）

2001 – 2010
2010 – **Facebook **- Finding a needle in Haystack: Facebook’s photo storage.（探究Haystack中的細(xì)微之處： Facebook圖片存儲(chǔ)）
2010 – AMPLab - Spark: Cluster Computing with Working Sets.（Spark:工作組上的集群計(jì)算）
2010 – Google – Storage Architecture and Challenges.（存儲(chǔ)架構(gòu)與挑戰(zhàn)）
2010 – **Google **- Pregel: A System for Large-Scale Graph Processing.（Pregel: 一種大型圖形處理系統(tǒng)）
2010 – **Google **- Large-scale Incremental Processing Using Distributed Transactions and Noti?cations base of Percolator and Caffeine.（使用基于Percolator 和 Caffeine平臺(tái)分布式事務(wù)和通知的大規(guī)模增量處理）
2010 – Google – Dremel: Interactive Analysis of Web-Scale Datasets.（Dremel: Web規(guī)模數(shù)據(jù)集的交互分析）
2010 – Yahoo - S4: Distributed Stream Computing Platform.（S4:分布式流計(jì)算平臺(tái)）
2009 – HadoopDB：An Architectural Hybrid of MapReduce and DBMS Technologies for Analytical Workloads.（混合MapReduce和DBMS技術(shù)用于分析工作負(fù)載的的架構(gòu)）
2008 – AMPLab – Chukwa: A large-scale monitoring system.（Chukwa: 大型監(jiān)控系統(tǒng)）
2007 – **Amazon **- Dynamo: Amazon’s Highly Available Key-value Store.（Dynamo: 亞馬遜的高可用的關(guān)鍵價(jià)值存儲(chǔ)）
2006 – Google – The Chubby lock service for loosely-coupled distributed systems.（面向松散耦合的分布式系統(tǒng)的鎖服務(wù)）
2006 – Google – Bigtable: A Distributed Storage System for Structured Data.（Bigtable: 結(jié)構(gòu)化數(shù)據(jù)的分布式存儲(chǔ)系統(tǒng)）
2004 – **Google - MapReduce: Simplied Data Processing on Large Clusters.（MapReduce: 大型集群上簡(jiǎn)化數(shù)據(jù)處理）
2003 - Google **- The Google File System.（谷歌文件系統(tǒng)）

視頻
數(shù)據(jù)可視化
數(shù)據(jù)可視化之美
Noah Iliinsky的數(shù)據(jù)可視化設(shè)計(jì)
Hans Rosling’s 200 Countries, 200 Years, 4 Minutes
冰桶挑戰(zhàn)的數(shù)據(jù)可視化

本文轉(zhuǎn)自：https://yq.aliyun.com/articles/37308