當(dāng)前嫂用，整個(gè)互聯(lián)網(wǎng)正在從IT時(shí)代向DT時(shí)代演進(jìn)型凳，大數(shù)據(jù)技術(shù)也正在助力企業(yè)和公眾敲開(kāi)DT世界大門(mén)。當(dāng)今“大數(shù)據(jù)”一詞的重點(diǎn)其實(shí)已經(jīng)不僅在于數(shù)據(jù)規(guī)模的定義嘱函，它更代表著信息技術(shù)發(fā)展進(jìn)入了一個(gè)新的時(shí)代甘畅，代表著爆炸性的數(shù)據(jù)信息給傳統(tǒng)的計(jì)算技術(shù)和信息技術(shù)帶來(lái)的技術(shù)挑戰(zhàn)和困難，代表著大數(shù)據(jù)處理所需的新的技術(shù)和方法往弓，也代表著大數(shù)據(jù)分析和應(yīng)用所帶來(lái)的新發(fā)明疏唾、新服務(wù)和新的發(fā)展機(jī)遇。
為了幫助大家更好深入了解大數(shù)據(jù)函似，云棲社區(qū)組織翻譯了GitHub Awesome Big Data資源槐脏，供大家參考。本資源類(lèi)型主要包括：大數(shù)據(jù)框架撇寞、論文等實(shí)用資源集合顿天。
資源目錄：
關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)（RDBMS）
框架
分布式編程
分布式文件系統(tǒng)
文件數(shù)據(jù)模型
Key -Map 數(shù)據(jù)模型
鍵-值數(shù)據(jù)模型
圖形數(shù)據(jù)模型
NewSQL數(shù)據(jù)庫(kù)
列式數(shù)據(jù)庫(kù)
時(shí)間序列數(shù)據(jù)庫(kù)
類(lèi)SQL處理
數(shù)據(jù)攝取
服務(wù)編程
調(diào)度
機(jī)器學(xué)習(xí)
基準(zhǔn)測(cè)試
安全性
系統(tǒng)部署
應(yīng)用程序
搜索引擎與框架
MySQL的分支和演化
PostgreSQL的分支和演化
Memcached的分支和演化
嵌入式數(shù)據(jù)庫(kù)
商業(yè)智能
數(shù)據(jù)可視化
物聯(lián)網(wǎng)和傳感器
文章
論文
視頻
關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)（RDBMS）
MySQL：世界最流行的開(kāi)源數(shù)據(jù)庫(kù)；
PostgreSQL：世界最先進(jìn)的開(kāi)源數(shù)據(jù)庫(kù)蔑担；
Oracle 數(shù)據(jù)庫(kù)：對(duì)象-關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng)露氮。
框架
Apache Hadoop：分布式處理架構(gòu)，結(jié)合了 MapReduce（并行處理）钟沛、YARN（作業(yè)調(diào)度）和HDFS（分布式文件系統(tǒng)）畔规；
Tigon：高吞吐量實(shí)時(shí)流處理框架。
分布式編程
AddThis Hydra ：最初在AddThis上開(kāi)發(fā)的分布式數(shù)據(jù)處理和存儲(chǔ)系統(tǒng)恨统；
AMPLab SIMR：用在Hadoop MapReduce v1上運(yùn)行Spark叁扫；
Apache Beam：為統(tǒng)一的模型以及一套用于定義和執(zhí)行數(shù)據(jù)處理工作流的特定SDK語(yǔ)言；
Apache Crunch：一個(gè)簡(jiǎn)單的Java API畜埋，用于執(zhí)行在普通的MapReduce實(shí)現(xiàn)時(shí)比較單調(diào)的連接莫绣、數(shù)據(jù)聚合等任務(wù)；
Apache DataFu：由LinkedIn開(kāi)發(fā)的針對(duì)Hadoop and 和Pig的用戶(hù)定義的函數(shù)集合悠鞍；
Apache Flink：具有高性能的執(zhí)行時(shí)間和自動(dòng)程序優(yōu)化对室；
Apache Gora：內(nèi)存中的數(shù)據(jù)模型和持久性框架；
Apache Hama：BSP（整體同步并行）計(jì)算框架；
Apache MapReduce ：在集群上使用并行掩宜、分布式算法處理大數(shù)據(jù)集的編程模型蔫骂；
Apache Pig ：Hadoop中，用于處理數(shù)據(jù)分析程序的高級(jí)查詢(xún)語(yǔ)言牺汤；
Apache REEF ：用來(lái)簡(jiǎn)化和統(tǒng)一低層大數(shù)據(jù)系統(tǒng)的保留性評(píng)估執(zhí)行框架辽旋；
Apache S4 ：S4中流處理與實(shí)現(xiàn)的框架；
Apache Spark ：內(nèi)存集群計(jì)算框架檐迟；
Apache Spark Streaming ：流處理框架补胚，同時(shí)是Spark的一部分；
Apache Storm ：Twitter流處理框架追迟，也可用于YARN溶其；
Apache Samza ：基于Kafka和YARN的流處理框架；
Apache Tez ：基于YARN敦间，用于執(zhí)行任務(wù)中的復(fù)雜DAG（有向無(wú)環(huán)圖）握联；
Apache Twill ：基于YARN的抽象概念，用于減少開(kāi)發(fā)分布式應(yīng)用程序的復(fù)雜度每瞒；
Cascalog：數(shù)據(jù)處理和查詢(xún)庫(kù)金闽；
Cheetah ：在MapReduce之上的高性能、自定義數(shù)據(jù)倉(cāng)庫(kù)剿骨；
Concurrent Cascading ：在Hadoop上的數(shù)據(jù)管理/分析框架代芜；
Damballa Parkour ：用于Clojure的MapReduce庫(kù)；
Datasalt Pangool ：可選擇的MapReduce范例浓利；
DataTorrent StrAM ：為實(shí)時(shí)引擎挤庇，用于以盡可能暢通的方式、最小的開(kāi)支和對(duì)性能最小的影響贷掖，實(shí)現(xiàn)分布式嫡秕、異步、實(shí)時(shí)的內(nèi)存大數(shù)據(jù)計(jì)算苹威；
Facebook Corona ：為Hadoop做優(yōu)化處理昆咽，從而消除單點(diǎn)故障；
Facebook Peregrine ：MapReduce框架牙甫；
Facebook Scuba ：分布式內(nèi)存數(shù)據(jù)存儲(chǔ)掷酗；
Google Dataflow ：創(chuàng)建數(shù)據(jù)管道，以幫助其分析框架窟哺；
Netflix PigPen ：為MapReduce泻轰，用于編譯成Apache Pig；
Nokia Disco ：由Nokia開(kāi)發(fā)的MapReduc獲取且轨、轉(zhuǎn)換和分析數(shù)據(jù)浮声；
Google MapReduce ：MapReduce框架虚婿；
Google MillWheel ：容錯(cuò)流處理框架；
JAQL ：用于處理結(jié)構(gòu)化泳挥、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)工作的聲明性編程語(yǔ)言然痊；
Kite ：為一組庫(kù)、工具羡洁、實(shí)例和文檔集，用于使在Hadoop的生態(tài)系統(tǒng)上建立系統(tǒng)更加容易爽丹；
Metamarkets Druid ：用于大數(shù)據(jù)集的實(shí)時(shí)e框架筑煮；
Onyx ：分布式云計(jì)算；
Pinterest Pinlater ：異步任務(wù)執(zhí)行系統(tǒng)粤蝎；
Pydoop ：用于Hadoop的Python MapReduce和HDFS API真仲；
Rackerlabs Blueflood ：多租戶(hù)分布式測(cè)度處理系統(tǒng)；
Stratosphere ：通用集群計(jì)算框架初澎；
Streamdrill ：用于計(jì)算基于不同時(shí)間窗口的事件流的活動(dòng)掖肋，并找到最活躍的一個(gè)歇攻；
Tuktu ：易于使用的用于分批處理和流計(jì)算的平臺(tái)，通過(guò)Scala、 Akka和Play所建窖铡；
Twitter Scalding：基于Cascading，用于Map Reduce工作的Scala庫(kù)巫击；
Twitter Summingbird ：在Twitter上使用Scalding和Storm串流MapReduce外潜；
Twitter TSAR ：Twitter上的時(shí)間序列聚合器。
分布式文件系統(tǒng)
Apache HDFS：在多臺(tái)機(jī)器上存儲(chǔ)大型文件的方式贞间；
BeeGFS：以前是FhGFS贿条，并行分布式文件系統(tǒng)；
Ceph Filesystem：設(shè)計(jì)的軟件存儲(chǔ)平臺(tái)增热；
Disco DDFS：分布式文件系統(tǒng)整以；
Facebook Haystack：對(duì)象存儲(chǔ)系統(tǒng)；
Google Colossus：分布式文件系統(tǒng)(GFS2)峻仇；
Google GFS：分布式文件系統(tǒng)公黑；
Google Megastore：可擴(kuò)展的、高度可用的存儲(chǔ)摄咆；
GridGain：兼容GGFS帆调、Hadoop內(nèi)存的文件系統(tǒng)；
Lustre file system：高性能分布式文件系統(tǒng)豆同；
Quantcast File System QFS：開(kāi)源分布式文件系統(tǒng)番刊；
Red Hat GlusterFS：向外擴(kuò)展的附網(wǎng)存儲(chǔ)（Network-attached Storage）文件系統(tǒng)；
Seaweed-FS：簡(jiǎn)單的影锈、高度可擴(kuò)展的分布式文件系統(tǒng)芹务；
Alluxio：以可靠的存儲(chǔ)速率在跨集群框架上文件共享蝉绷；
Tahoe-LAFS：分布式云存儲(chǔ)系統(tǒng)；
文件數(shù)據(jù)模型
Actian Versant：商用的面向?qū)ο髷?shù)據(jù)庫(kù)管理系統(tǒng)枣抱；
Crate Data：是一個(gè)開(kāi)源的大規(guī)娜勐穑可擴(kuò)展的數(shù)據(jù)存儲(chǔ)，需要零管理模式佳晶；
Facebook Apollo：Facebook的Paxos算法桅狠，類(lèi)似于NoSQL數(shù)據(jù)庫(kù)；
jumboDB：基于Hadoop的面向文檔的數(shù)據(jù)存儲(chǔ)轿秧；
LinkedIn Espresso：可橫向擴(kuò)展的面向文檔的NoSQL數(shù)據(jù)存儲(chǔ)中跌；
MarkLogic：模式不可知的企業(yè)版NoSQL數(shù)據(jù)庫(kù)技術(shù)；
MongoDB：面向文檔的數(shù)據(jù)庫(kù)系統(tǒng)菇篡；
RavenDB：一個(gè)事務(wù)性的漩符，開(kāi)源文檔數(shù)據(jù)庫(kù)；
RethinkDB：支持連接查詢(xún)和群組依據(jù)等查詢(xún)的文檔型數(shù)據(jù)庫(kù)驱还。
Key Map 數(shù)據(jù)模型
注意：業(yè)內(nèi)存在一些術(shù)語(yǔ)混亂嗜暴，有兩個(gè)不同的東西都叫做“列式數(shù)據(jù)庫(kù)”。這里列出的有一些是圍繞“key-map”數(shù)據(jù)模型而建的分布式议蟆、持續(xù)型數(shù)據(jù)庫(kù)闷沥，其中所有的數(shù)據(jù)都有（可能綜合了）鍵，并與映射中的鍵-值對(duì)相關(guān)聯(lián)咐容。在一些系統(tǒng)中狐赡，多個(gè)這樣的值映射可以與鍵相關(guān)聯(lián)，并且這些映射被稱(chēng)為“列族”（具有映射值的鍵被稱(chēng)為“列”）疟丙。
另一組也可稱(chēng)為“列式數(shù)據(jù)庫(kù)”的技術(shù)因其存儲(chǔ)數(shù)據(jù)的方式而有別于前一組颖侄，它在磁盤(pán)上或在存儲(chǔ)器中——而不是以傳統(tǒng)方式，即所有既定鍵的鍵值都相鄰著享郊、逐行存儲(chǔ)览祖。這些系統(tǒng)也彼此相鄰來(lái)存儲(chǔ)所有列值，但是要得到給定列的所有值卻不需要以前那么繁復(fù)的工作炊琉。
前一組在這里被稱(chēng)為“key map數(shù)據(jù)模型”展蒂，這兩者和Key-value 數(shù)據(jù)模型之間的界限是相當(dāng)模糊的。后者對(duì)數(shù)據(jù)模型有更多的存儲(chǔ)格式苔咪，可在列式數(shù)據(jù)庫(kù)中列出锰悼。若想了解更多關(guān)于這兩種模型的區(qū)分，可閱讀Daniel Abadi的博客：Distinguishing two major types of Column Stores团赏。
Apache Accumulo：內(nèi)置在Hadoop上的分布式鍵/值存儲(chǔ)箕般；
Apache Cassandra：由BigTable授權(quán)，面向列的分布式數(shù)據(jù)存儲(chǔ)舔清；
Apache HBase：由BigTable授權(quán)丝里，面向列的分布式數(shù)據(jù)存儲(chǔ)曲初；
Facebook HydraBase：Facebook所開(kāi)發(fā)的HBase的衍化品；
Google BigTable：面向列的分布式數(shù)據(jù)存儲(chǔ)杯聚；
Google Cloud Datastore：為完全管理型的無(wú)模式數(shù)據(jù)庫(kù)臼婆，用于存儲(chǔ)在BigTable上非關(guān)系型數(shù)據(jù)；
Hypertable：由BigTable授權(quán)幌绍，面向列的分布式數(shù)據(jù)存儲(chǔ)颁褂；
InfiniDB：通過(guò)MySQL的接口訪(fǎng)問(wèn)，并使用大規(guī)模并行處理進(jìn)行并行查詢(xún)傀广；
Tephra：用于HBase處理颁独；
Twitter Manhattan：Twitter的實(shí)時(shí)、多租戶(hù)分布式數(shù)據(jù)庫(kù)主儡。
鍵-值數(shù)據(jù)模型
Aerospike：支持NoSQL的閃存優(yōu)化奖唯，數(shù)據(jù)存儲(chǔ)在內(nèi)存惨缆。開(kāi)源糜值，“'C'（不是Java或Erlang）中的服務(wù)器代碼可精確地調(diào)整從而避免上下文切換和內(nèi)存拷貝”。
Amazon DynamoDB：分布式鍵/值存儲(chǔ)坯墨，Dynamo論文的實(shí)現(xiàn)寂汇；
Edis：為替代Redis的協(xié)議兼容的服務(wù)器；
ElephantDB：專(zhuān)門(mén)研究Hadoop中數(shù)據(jù)導(dǎo)出的分布式數(shù)據(jù)庫(kù)捣染；
EventStore：分布式時(shí)間序列數(shù)據(jù)庫(kù)骄瓣；
GridDB：適用于存儲(chǔ)在時(shí)間序列中的傳感器數(shù)據(jù)；
LinkedIn Krati：簡(jiǎn)單的持久性數(shù)據(jù)存儲(chǔ)耍攘，擁有低延遲和高吞吐量榕栏；
Linkedin Voldemort：分布式鍵/值存儲(chǔ)系統(tǒng)；
Oracle NoSQL Database：Oracle公司開(kāi)發(fā)的分布式鍵值數(shù)據(jù)庫(kù)蕾各；
Redis：內(nèi)存中的鍵值數(shù)據(jù)存儲(chǔ)扒磁；
Riak：分散式數(shù)據(jù)存儲(chǔ)；
Storehaus：Twitter開(kāi)發(fā)的異步鍵值存儲(chǔ)的庫(kù)式曲；
Tarantool：一個(gè)高效的NoSQL數(shù)據(jù)庫(kù)和Lua應(yīng)用服務(wù)器妨托；
TiKV：由Google Spanner和HBase授權(quán)，Rust提供技術(shù)支持的分布式鍵值數(shù)據(jù)庫(kù)吝羞；
TreodeDB：可復(fù)制兰伤、共享的鍵-值存儲(chǔ)，能提供多行原子寫(xiě)入钧排。
圖形數(shù)據(jù)模型
Apache Giraph：基于Hadoop的Pregel實(shí)現(xiàn)敦腔；
Apache Spark Bagel：可實(shí)現(xiàn)Pregel，為Spark的一部分恨溜；
ArangoDB：多層模型分布式數(shù)據(jù)庫(kù)会烙；
DGraph：一個(gè)可擴(kuò)展的负懦、分布式、低時(shí)延柏腻、高吞吐量的圖形數(shù)據(jù)庫(kù)纸厉，旨在為Google生產(chǎn)水平規(guī)模和吞吐量提供足夠的低延遲，用于TB級(jí)的結(jié)構(gòu)化數(shù)據(jù)的實(shí)時(shí)用戶(hù)查詢(xún)五嫂；
Facebook TAO：TAO是facebook廣泛用來(lái)存儲(chǔ)和服務(wù)于社交圖形的分布式數(shù)據(jù)存儲(chǔ)颗品；
GCHQ Gaffer：GCHQ中的Gaffer是一個(gè)易于存儲(chǔ)大規(guī)模圖形的框架，其中節(jié)點(diǎn)和邊緣都有統(tǒng)計(jì)數(shù)據(jù)沃缘；
Google Cayley：開(kāi)源圖形數(shù)據(jù)庫(kù)躯枢；
Google Pregel ：圖形處理框架；
GraphLab PowerGraph：核心C ++ GraphLab API和建立在GraphLab API之上的高性能機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘工具包的集合槐臀；
GraphX：Spark中的彈性分布式圖形系統(tǒng)锄蹂；
Gremlin：圖形追蹤語(yǔ)言；
Infovore：以RDF為中心的Map / Reduce框架水慨；
Intel GraphBuilder：在Hadoop上構(gòu)建大規(guī)模圖形的工具得糜；
MapGraph：用于在GPU上大規(guī)模并行圖形處理；
Neo4j：完全用Java寫(xiě)入的圖形數(shù)據(jù)庫(kù)晰洒；
OrientDB：文檔和圖形數(shù)據(jù)庫(kù)朝抖；
Phoebus：大型圖形處理框架；
Titan：建于Cassandra的分布式圖形數(shù)據(jù)庫(kù)谍珊；
Twitter FlockDB：分布式圖形數(shù)據(jù)庫(kù)治宣。
NewSQL數(shù)據(jù)庫(kù)
Actian Ingres：由商業(yè)支持，開(kāi)源的SQL關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)绊茧；
Amazon RedShift：基于PostgreSQL的數(shù)據(jù)倉(cāng)庫(kù)服務(wù)；
BayesDB：面向統(tǒng)計(jì)數(shù)值的SQL數(shù)據(jù)庫(kù)题暖；
CitusDB：通過(guò)分區(qū)和復(fù)制橫向擴(kuò)展PostgreSQL按傅；
Cockroach：可擴(kuò)展唯绍、地址可復(fù)制、交易型的數(shù)據(jù)庫(kù)叶撒；
Datomic：旨在產(chǎn)生可擴(kuò)展绝骚、靈活的智能應(yīng)用的分布式數(shù)據(jù)庫(kù)耐版；
FoundationDB：由F1授意的分布式數(shù)據(jù)庫(kù)；
Google F1：建立在Spanner上的分布式SQL數(shù)據(jù)庫(kù)压汪；
Google Spanner：全球性的分布式半關(guān)系型數(shù)據(jù)庫(kù)粪牲；
H-Store：是一個(gè)實(shí)驗(yàn)性主存并行數(shù)據(jù)庫(kù)管理系統(tǒng)，用于聯(lián)機(jī)事務(wù)處理（OLTP）應(yīng)用的優(yōu)化止剖；
Haeinsa：基于Percolator腺阳，HBase的線(xiàn)性可擴(kuò)展多行多表交易庫(kù)；
HandlerSocket：MySQL/MariaDB的NoSQL插件穿香；
InfiniSQL：無(wú)限可擴(kuò)展的RDBMS亭引；
MemSQL：內(nèi)存中的SQL數(shù)據(jù)庫(kù)，其中有優(yōu)化的閃存列存儲(chǔ)皮获；
NuoDB：SQL / ACID兼容的分布式數(shù)據(jù)庫(kù)焙蚓；
Oracle TimesTen in-Memory Database：內(nèi)存中具有持久性和可恢復(fù)性的關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng)；
Pivotal GemFire XD：內(nèi)存中低延時(shí)的分布式SQL數(shù)據(jù)存儲(chǔ)洒宝，可為內(nèi)存列表數(shù)據(jù)提供SQL接口购公，在HDFS中較持久化；
SAP HANA：是在內(nèi)存中面向列的關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng)待德；
SenseiDB：分布式實(shí)時(shí)半結(jié)構(gòu)化的數(shù)據(jù)庫(kù)君丁；
Sky：用于行為數(shù)據(jù)的靈活枫夺、高性能分析的數(shù)據(jù)庫(kù)将宪；
SymmetricDS：用于文件和數(shù)據(jù)庫(kù)同步的開(kāi)源軟件；
Map-D：為GPU內(nèi)存數(shù)據(jù)庫(kù)橡庞，也為大數(shù)據(jù)分析和可視化平臺(tái)较坛；
TiDB：TiDB是分布式SQL數(shù)據(jù)庫(kù)，基于谷歌F1的設(shè)計(jì)靈感扒最；
VoltDB：自稱(chēng)為最快的內(nèi)存數(shù)據(jù)庫(kù)丑勤。
列式數(shù)據(jù)庫(kù)
注意：請(qǐng)?jiān)?a target="_blank" rel="nofollow">鍵-值數(shù)據(jù)模型 閱讀相關(guān)注釋。
Columnar Storage：解釋什么是列存儲(chǔ)以及何時(shí)會(huì)需要用到它吧趣；
Actian Vector：面向列的分析型數(shù)據(jù)庫(kù)法竞；
C-Store：面向列的DBMS；
MonetDB：列存儲(chǔ)數(shù)據(jù)庫(kù)强挫；
Parquet：Hadoop的列存儲(chǔ)格式岔霸；
Pivotal Greenplum：專(zhuān)門(mén)設(shè)計(jì)的、專(zhuān)用的分析數(shù)據(jù)倉(cāng)庫(kù)俯渤，類(lèi)似于傳統(tǒng)的基于行的工具呆细，提供了一個(gè)列式工具；
Vertica：用來(lái)管理大規(guī)模八匠、快速增長(zhǎng)的大量數(shù)據(jù)絮爷，當(dāng)用于數(shù)據(jù)倉(cāng)庫(kù)時(shí)趴酣，能夠提供非常快的查詢(xún)性能坑夯；
Google BigQuery ：谷歌的云產(chǎn)品岖寞，由其在Dremel的創(chuàng)始工作提供支持；
Amazon Redshift ：亞馬遜的云產(chǎn)品柜蜈，它也是基于柱狀數(shù)據(jù)存儲(chǔ)后端慎璧。
時(shí)間序列數(shù)據(jù)庫(kù)
Cube：使用MongoDB來(lái)存儲(chǔ)時(shí)間序列數(shù)據(jù)；
Axibase Time Series Database：在HBase之上的分布式時(shí)間序列數(shù)據(jù)庫(kù)跨释，它包括內(nèi)置的Rule Engine胸私、數(shù)據(jù)預(yù)測(cè)和可視化；
Heroic：基于Cassandra和Elasticsearch的可擴(kuò)展的時(shí)間序列數(shù)據(jù)庫(kù)鳖谈；
InfluxDB：分布式時(shí)間序列數(shù)據(jù)庫(kù)岁疼；
Kairosdb：類(lèi)似于OpenTSDB但會(huì)考慮到Cassandra；
OpenTSDB：在HBase上的分布式時(shí)間序列數(shù)據(jù)庫(kù)缆娃；
Prometheus：一種時(shí)間序列數(shù)據(jù)庫(kù)和服務(wù)監(jiān)測(cè)系統(tǒng)捷绒；
Newts：一種基于Apache Cassandra的時(shí)間序列數(shù)據(jù)庫(kù)。
類(lèi)SQL處理
Actian SQL for Hadoop：高性能交互式的SQL，可訪(fǎng)問(wèn)所有的Hadoop數(shù)據(jù)料仗；
Apache Drill：由Dremel授意的交互式分析框架提前；
Apache HCatalog：Hadoop的表格和存儲(chǔ)管理層；
Apache Hive：Hadoop的類(lèi)SQL數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)字逗；
Apache Optiq：一種框架，可允許高效的查詢(xún)翻譯宅广，其中包括異構(gòu)性及聯(lián)合性數(shù)據(jù)的查詢(xún)葫掉；
Apache Phoenix：Apache Phoenix 是 HBase 的 SQL 驅(qū)動(dòng)；
Cloudera Impala：由Dremel授意的交互式分析框架跟狱；
Concurrent Lingual：Cascading中的類(lèi)SQL查詢(xún)語(yǔ)言俭厚；
Datasalt Splout SQL：用于大數(shù)據(jù)集的完整的SQL查詢(xún)工具；
Facebook PrestoDB：分布式SQL查詢(xún)工具驶臊；
Google BigQuery：交互式分析框架挪挤，Dremel的實(shí)現(xiàn)；
Pivotal HAWQ：Hadoop的類(lèi)SQL的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)关翎；
RainstorDB：用于存儲(chǔ)大規(guī)模PB級(jí)結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)庫(kù)扛门；
Spark Catalyst：用于Spark和Shark的查詢(xún)優(yōu)化框架；
SparkSQL：使用Spark操作結(jié)構(gòu)化數(shù)據(jù)笤休；
Splice Machine：一個(gè)全功能的Hadoop上的SQL RDBMS尖飞，并帶有ACID事務(wù)；
Stinger：用于Hive的交互式查詢(xún)；
Tajo：Hadoop的分布式數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)政基；
Trafodion：為企業(yè)級(jí)的SQL-on-HBase針對(duì)大數(shù)據(jù)的事務(wù)或業(yè)務(wù)工作負(fù)載的解決方案贞铣。
數(shù)據(jù)攝取
Amazon Kinesis：大規(guī)模數(shù)據(jù)流的實(shí)時(shí)處理；
Apache Chukwa：數(shù)據(jù)采集系統(tǒng)沮明；
Apache Flume：管理大量日志數(shù)據(jù)的服務(wù)辕坝；
Apache Kafka：分布式發(fā)布-訂閱消息系統(tǒng)；
Apache Sqoop：在Hadoop和結(jié)構(gòu)化的數(shù)據(jù)存儲(chǔ)區(qū)之間傳送數(shù)據(jù)的工具荐健；
Cloudera Morphlines：幫助 Solr酱畅、HBase和HDFS完成ETL的框架；
Facebook Scribe：流日志數(shù)據(jù)聚合器江场；
Fluentd：采集事件和日志的工具纺酸；
Google Photon：實(shí)時(shí)連接多個(gè)數(shù)據(jù)流的分布式計(jì)算機(jī)系統(tǒng)，具有高可擴(kuò)展性和低延遲性址否；
Heka：開(kāi)源流處理軟件系統(tǒng)餐蔬；
HIHO：用Hadoop連接不同數(shù)據(jù)源的框架；
Kestrel：分布式消息隊(duì)列系統(tǒng)佑附；
LinkedIn Databus：對(duì)數(shù)據(jù)庫(kù)更改捕獲的事件流樊诺；
LinkedIn Kamikaze：壓縮已分類(lèi)整型數(shù)組的程序包；
LinkedIn White Elephant：日志聚合器和儀表板音同；
Logstash：用于管理事件和日志的工具词爬；
Netflix Suro：像基于Chukwa 的Storm和Samza一樣的日志聚合器；
Pinterest Secor：是實(shí)現(xiàn)Kafka日志持久性的服務(wù)权均；
Linkedin Gobblin：LinkedIn的通用數(shù)據(jù)攝取框架顿膨；
Skizze：是一種數(shù)據(jù)存儲(chǔ)略圖，使用概率性數(shù)據(jù)結(jié)構(gòu)來(lái)處理計(jì)數(shù)螺句、略圖等相關(guān)的問(wèn)題虽惭；
StreamSets Data Collector：連續(xù)大數(shù)據(jù)采集的基礎(chǔ)設(shè)施橡类，可簡(jiǎn)單地使用IDE蛇尚。
服務(wù)編程
Akka Toolkit：JVM中分布性、容錯(cuò)事件驅(qū)動(dòng)應(yīng)用程序的運(yùn)行時(shí)間顾画；
Apache Avro：數(shù)據(jù)序列化系統(tǒng)取劫；
Apache Curator：Apache ZooKeeper的Java
庫(kù)；
Apache Karaf：在任何OSGi
框架之上運(yùn)行的
OSGi
運(yùn)行時(shí)間研侣；
Apache Thrift：構(gòu)建二進(jìn)制協(xié)議的框架谱邪；
Apache Zookeeper：流程管理集中式服務(wù)；
Google Chubby：一種松耦合分布式系統(tǒng)鎖服務(wù)庶诡；
Linkedin Norbert：集群管理器惦银；
OpenMPI：消息傳遞框架；
Serf：服務(wù)發(fā)現(xiàn)和協(xié)調(diào)的分散化解決方案；
Spotify Luigi：一種構(gòu)建批處理作業(yè)的復(fù)雜管道的Python
包扯俱，它能夠處理依賴(lài)性解析书蚪、工作流管理、可視化迅栅、故障處理殊校、命令行一體化等等問(wèn)題；
Spring XD：數(shù)據(jù)攝取读存、實(shí)時(shí)分析为流、批量處理和數(shù)據(jù)導(dǎo)出的分布式、可擴(kuò)展系統(tǒng)让簿；
Twitter Elephant Bird：LZO
壓縮數(shù)據(jù)的工作庫(kù)敬察；
Twitter Finagle：JVM
的異步網(wǎng)絡(luò)堆棧。
調(diào)度
Apache Aurora：在Apache Mesos
之上運(yùn)行的服務(wù)調(diào)度程序尔当；
Apache Falcon：數(shù)據(jù)管理框架静汤；
Apache Oozie：工作流作業(yè)調(diào)度程序；
Chronos：分布式容錯(cuò)調(diào)度居凶；
Linkedin Azkaban：批處理工作流作業(yè)調(diào)度虫给；
Schedoscope：Hadoop
作業(yè)敏捷調(diào)度的
Scala DSL；
Sparrow：調(diào)度平臺(tái)侠碧；
Airflow：一個(gè)以編程方式編寫(xiě)抹估、調(diào)度和監(jiān)控工作流的平臺(tái)。
機(jī)器學(xué)習(xí)
Apache Mahout：Hadoop
的機(jī)器學(xué)習(xí)庫(kù)惋砂；
brain：JavaScript
中的神經(jīng)網(wǎng)絡(luò)驯嘱；
Cloudera Oryx：實(shí)時(shí)大規(guī)模機(jī)器學(xué)習(xí)牛郑；
Concurrent Pattern：Cascading的機(jī)器學(xué)習(xí)庫(kù)右蹦；
convnetjs：Javascript
中的機(jī)器學(xué)習(xí)晃洒，在瀏覽器中訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)（或普通網(wǎng)絡(luò)）朦佩；
Decider：Ruby
中靈活慨畸、可擴(kuò)展的機(jī)器學(xué)習(xí)；
ENCOG：支持多種先進(jìn)算法的機(jī)器學(xué)習(xí)框架衣式，同時(shí)支持類(lèi)的標(biāo)準(zhǔn)化和處理數(shù)據(jù)寸士；
etcML：機(jī)器學(xué)習(xí)文本分類(lèi)；
Etsy Conjecture：Scalding中可擴(kuò)展的機(jī)器學(xué)習(xí)碴卧；
Google Sibyl：Google中的大規(guī)模機(jī)器學(xué)習(xí)系統(tǒng)弱卡；
GraphLab Create：Python
的機(jī)器學(xué)習(xí)平臺(tái)，包括
ML
工具包住册、數(shù)據(jù)工程和部署工具的廣泛集合谐宙；
H2O：Hadoop統(tǒng)計(jì)性的機(jī)器學(xué)習(xí)和數(shù)學(xué)運(yùn)行時(shí)間；
MLbase：用于BDAS堆棧的分布式機(jī)器學(xué)習(xí)庫(kù)界弧；
MLPNeuralNet：針對(duì)iOS和Mac OS X的快速多層感知神經(jīng)網(wǎng)絡(luò)庫(kù)凡蜻；
MonkeyLearn：使文本挖掘更為容易，從文本中提取分類(lèi)數(shù)據(jù)垢箕；
nupic：智能計(jì)算的Numenta
平臺(tái)划栓，它是一個(gè)啟發(fā)大腦的機(jī)器智力平臺(tái)，基于皮質(zhì)學(xué)習(xí)算法的精準(zhǔn)的生物神經(jīng)網(wǎng)絡(luò)条获；
PredictionIO：建于Hadoop忠荞、Mahout和Cascading上的機(jī)器學(xué)習(xí)服務(wù)器；
SAMOA：分布式流媒體機(jī)器學(xué)習(xí)框架帅掘；
scikit-learn：scikit-learn為Python中的機(jī)器學(xué)習(xí)委煤；
Spark MLlib：Spark中一些常用的機(jī)器學(xué)習(xí)（ML
）功能的實(shí)現(xiàn)；
Vowpal Wabbit：微軟和雅虎發(fā)起的學(xué)習(xí)系統(tǒng)修档；
WEKA：機(jī)器學(xué)習(xí)軟件套件碧绞；
BidMach：CPU
和加速
GPU
的機(jī)器學(xué)習(xí)庫(kù)。
基準(zhǔn)測(cè)試
Apache Hadoop Benchmarking：測(cè)試Hadoop
性能的微基準(zhǔn)吱窝；
Berkeley SWIM Benchmark：現(xiàn)實(shí)大數(shù)據(jù)工作負(fù)載基準(zhǔn)測(cè)試讥邻；
Intel HiBench：Hadoop
基準(zhǔn)測(cè)試套件迫靖；
PUMA Benchmarking：MapReduce應(yīng)用的基準(zhǔn)測(cè)試套件；
Yahoo Gridmix3：雅虎工程師團(tuán)隊(duì)的Hadoop集群基準(zhǔn)測(cè)試兴使。
安全性
Apache Knox Gateway：Hadoop
集群安全訪(fǎng)問(wèn)的單點(diǎn)系宜；
Apache Sentry：存儲(chǔ)在Hadoop
的數(shù)據(jù)安全模塊。
系統(tǒng)部署
Apache Ambari：Hadoop
管理的運(yùn)作框架发魄；
Apache Bigtop：Hadoop
生態(tài)系統(tǒng)的部署框架盹牧；
Apache Helix：集群管理框架；
Apache Mesos：集群管理器励幼；
Apache Slider：一種YARN
應(yīng)用汰寓，用來(lái)部署
YARN
中現(xiàn)有的分布式應(yīng)用程序；
Apache Whirr：運(yùn)行云服務(wù)的庫(kù)集赏淌；
Apache YARN：集群管理器踩寇；
Brooklyn：用于簡(jiǎn)化應(yīng)用程序部署和管理的庫(kù)；
Buildoop：基于Groovy語(yǔ)言六水，和Apache BigTop類(lèi)似俺孙；
Cloudera HUE：和Hadoop
進(jìn)行交互的
Web
應(yīng)用程序；
Facebook Prism：多數(shù)據(jù)中心復(fù)制系統(tǒng)掷贾；
Google Borg：作業(yè)調(diào)度和監(jiān)控系統(tǒng)睛榄；
Google Omega：作業(yè)調(diào)度和監(jiān)控系統(tǒng)；
Hortonworks HOYA：可在YARN上部署HBase集群的應(yīng)用想帅；
Marathon：用于長(zhǎng)期運(yùn)行服務(wù)的Mesos
框架场靴。
應(yīng)用程序
Adobe spindle：使用Scala、Spark和Parquet處理的下一代web
分析港准；
Apache Kiji：基于HBase旨剥，實(shí)時(shí)采集和分析數(shù)據(jù)的框架；
Apache Nutch：開(kāi)源網(wǎng)絡(luò)爬蟲(chóng)浅缸；
Apache OODT：用于NASA
科學(xué)檔案中數(shù)據(jù)的捕獲轨帜、處理和共享；
Apache Tika：內(nèi)容分析工具包衩椒；
Argus：時(shí)間序列監(jiān)測(cè)和報(bào)警平臺(tái)蚌父；
Countly：基于Node.js和MongoDB，開(kāi)源的手機(jī)和網(wǎng)絡(luò)分析平臺(tái)毛萌；
Domino：運(yùn)行苟弛、規(guī)劃、共享和部署模型——沒(méi)有任何基礎(chǔ)設(shè)施阁将；
Eclipse BIRT：基于Eclipse
的報(bào)告系統(tǒng)膏秫；
Eventhub：開(kāi)源的事件分析平臺(tái)；
Hermes：建于Kafka上的異步消息代理冀痕；
HIPI Library：在Hadoop's MapReduce上執(zhí)行圖像處理任務(wù)的API
荔睹；
Hunk：Hadoop的Splunk
分析狸演；
Imhotep：大規(guī)模分析平臺(tái)言蛇；
MADlib：RDBMS的用于數(shù)據(jù)分析的數(shù)據(jù)處理庫(kù)僻他；
Kylin：來(lái)自eBay??的開(kāi)源分布式分析工具；
PivotalR：Pivotal HD / HAWQ
和
PostgreSQL
中的
R
腊尚；
Qubole：為自動(dòng)縮放Hadoop
集群吨拗，內(nèi)置的數(shù)據(jù)連接器；
Sense：用于數(shù)據(jù)科學(xué)和大數(shù)據(jù)分析的云平臺(tái)婿斥；
SnappyData：用于實(shí)時(shí)運(yùn)營(yíng)分析的分布式內(nèi)存數(shù)據(jù)存儲(chǔ)劝篷，提供建立在Spark
單一集成集群中的數(shù)據(jù)流分析、
OLTP
（聯(lián)機(jī)事務(wù)處理）和
OLAP
（聯(lián)機(jī)分析處理）民宿；
Snowplow：企業(yè)級(jí)網(wǎng)絡(luò)和事件分析娇妓，由Hadoop、Kinesis活鹰、Redshift 和Postgres提供技術(shù)支持哈恰；
SparkR：Spark的R
前端；
Splunk：用于機(jī)器生成的數(shù)據(jù)的分析志群；
Sumo Logic：基于云的分析儀着绷，用于分析機(jī)器生成的數(shù)據(jù)；
Talend：用于YARN锌云、Hadoop荠医、HBASE、Hive桑涎、HCatalog和Pig的統(tǒng)一開(kāi)源環(huán)境彬向；
Warp：利用大數(shù)據(jù)（OS X app）的實(shí)例查詢(xún)工具。
搜索引擎與框架
Apache Lucene：搜索引擎庫(kù)攻冷；
Apache Solr：用于Apache Lucene的搜索平臺(tái)娃胆；
ElasticSearch：基于Apache Lucene
的搜索和分析引擎；
Enigma.io：為免費(fèi)增值的健壯性web
應(yīng)用讲衫，用于探索缕棵、篩選、分析涉兽、搜索和導(dǎo)出來(lái)自網(wǎng)絡(luò)的大規(guī)模數(shù)據(jù)集招驴；
Facebook Unicorn：社交圖形搜索平臺(tái)；
Google Caffeine：連續(xù)索引系統(tǒng)枷畏；
Google Percolator：連續(xù)索引系統(tǒng)别厘；
TeraGoogle：大型搜索索引；
HBase Coprocessor：為Percolator的實(shí)現(xiàn)拥诡，HBase的一部分触趴；
Lily HBase Indexer：快速氮发、輕松地搜索存儲(chǔ)在HBase
的任何內(nèi)容；
LinkedIn Bobo：完全由Java
編寫(xiě)的分面搜索的實(shí)現(xiàn)冗懦，為
Apache Lucene的延伸爽冕；
LinkedIn Cleo：為一個(gè)一個(gè)靈活的軟件庫(kù)，使得局部披蕉、無(wú)序颈畸、實(shí)時(shí)預(yù)輸入的搜索實(shí)現(xiàn)了快速發(fā)展；
LinkedIn Galene：LinkedIn
搜索架構(gòu)没讲；
LinkedIn Zoie：是用Java
編寫(xiě)的實(shí)時(shí)搜索
/
索引系統(tǒng)皆撩；
Sphinx Search Server：全文搜索引擎
MySQL****的分支和演化
Amazon RDS：亞馬遜云的MySQL
數(shù)據(jù)庫(kù)坷剧；
Drizzle：MySQL
的
6.0
的演化嗽上；
Google Cloud SQL：谷歌云的MySQL
數(shù)據(jù)庫(kù)冒黑；
MariaDB：MySQL
的增強(qiáng)版嵌入式替代品；
MySQL Cluster：使用NDB
集群存儲(chǔ)引擎的
MySQL
實(shí)現(xiàn)嘁信；
Percona Server：MySQL
的增強(qiáng)版嵌入式替代品于样；
ProxySQL：MySQL
的高性能代理；
TokuDB：用于MySQL和 MariaDB的存儲(chǔ)引擎吱抚；
WebScaleSQL：運(yùn)行MySQL
時(shí)面臨類(lèi)似挑戰(zhàn)的幾家公司百宇，它們的工程師之間的合作。
PostgreSQL****的分支和演化
Yahoo Everest - multi-peta-byte database / MPP derived by PostgreSQL.
HadoopDB：MapReduce
和
DBMS
的混合體秘豹；
IBM Netezza：高性能數(shù)據(jù)倉(cāng)庫(kù)設(shè)備携御；
Postgres-XL：基于PostgreSQL
，可擴(kuò)展的開(kāi)源數(shù)據(jù)庫(kù)集群既绕；
RecDB：完全建立在PostgreSQL
內(nèi)部的開(kāi)源推薦引擎啄刹；
Stado：開(kāi)源MPP
數(shù)據(jù)庫(kù)系統(tǒng)，只針對(duì)數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集市的應(yīng)用程序凄贩；
Yahoo Everest：PostgreSQL
可以推導(dǎo)多字節(jié)
P
比特?cái)?shù)據(jù)庫(kù)
/MPP
誓军。
Memcached****的分支和演化
Facebook McDipper：閃存的鍵/
值緩存；
Facebook Memcached：Memcache的分支疲扎；
Twemproxy：Memcached
和
Redis
的快速昵时、輕型代理；
Twitter Fatcache：閃存的鍵/
值緩存椒丧；
Twitter Twemcache：Memcache的分支壹甥。
嵌入式數(shù)據(jù)庫(kù)
Actian PSQL：Pervasive Software公司開(kāi)發(fā)的
ACID
兼容的
DBMS
，在應(yīng)用程序中嵌入了優(yōu)化壶熏；
BerkeleyDB：為鍵/
值數(shù)據(jù)提供一個(gè)高性能的嵌入式數(shù)據(jù)庫(kù)的一個(gè)軟件庫(kù)句柠；
HanoiDB：Erlang LSM BTree存儲(chǔ)；
LevelDB：谷歌寫(xiě)的一個(gè)快速鍵-
值存儲(chǔ)庫(kù)，它提供了從字符串鍵到字符串值的有序映射溯职；
LMDB：Symas開(kāi)發(fā)的超快精盅、超緊湊的鍵-
值嵌入的式數(shù)據(jù)存儲(chǔ)；
RocksDB：基于性L(fǎng)evelDB
谜酒，用于快速存儲(chǔ)的嵌入式持續(xù)性鍵
值存儲(chǔ)叹俏。
商業(yè)智能
BIME Analytics：商業(yè)智能云平臺(tái)；
Chartio：精益業(yè)務(wù)智能平臺(tái)甚带，用于可視化和探索數(shù)據(jù)她肯；
datapine：基于云的自助服務(wù)商業(yè)智能工具佳头；
Jaspersoft：功能強(qiáng)大的商業(yè)智能套件鹰贵；
Jedox Palo：定制的商業(yè)智能平臺(tái)；
Microsoft：商業(yè)智能軟件和平臺(tái)康嘉；
Microstrategy：商業(yè)智能碉输、移動(dòng)智能和網(wǎng)絡(luò)應(yīng)用軟件平臺(tái)；
Pentaho：商業(yè)智能平臺(tái)亭珍；
Qlik：商業(yè)智能和分析平臺(tái)敷钾；
Saiku：開(kāi)源的分析平臺(tái)；
SpagoBI：開(kāi)源商業(yè)智能平臺(tái)肄梨；
Tableau：商業(yè)智能平臺(tái)阻荒；
Zoomdata：大數(shù)據(jù)分析；
Jethrodata：交互式大數(shù)據(jù)分析众羡。
數(shù)據(jù)可視化
Airpal：用于PrestoDB
的網(wǎng)頁(yè)
UI
侨赡；
Arbor：利用網(wǎng)絡(luò)工作者和jQuery
的圖形可視化庫(kù)；
Banana：對(duì)存儲(chǔ)在Kibana中Solr. Port的日志和時(shí)戳數(shù)據(jù)進(jìn)行可視化粱侣；
Bokeh：一個(gè)功能強(qiáng)大的Python
交互式可視化庫(kù)羊壹，它針對(duì)要展示的現(xiàn)代
web
瀏覽器，旨在為
D3.js風(fēng)格的新奇的圖形提供優(yōu)雅簡(jiǎn)潔的設(shè)計(jì)齐婴，同時(shí)在大規(guī)模數(shù)據(jù)或流數(shù)據(jù)集中油猫，通過(guò)高性能交互性來(lái)表達(dá)這種能力；
C3：基于D3
可重復(fù)使用的圖表庫(kù)柠偶；
CartoDB：開(kāi)源或免費(fèi)增值的虛擬主機(jī)情妖，用于帶有強(qiáng)大的前端編輯功能和API
的地理空間數(shù)據(jù)庫(kù)；
chartd：只帶Img標(biāo)簽的反應(yīng)靈敏诱担、兼容Retina的圖表毡证；
Chart.js：開(kāi)源的HTML5
圖表可視化效果；
Chartist.js：另一個(gè)開(kāi)源HTML5
圖表可視化效果该肴；
Crossfilter：JavaScript庫(kù)情竹，用于在瀏覽器中探索多元大數(shù)據(jù)集，用Dc.js和
D3.js.效果很好；
Cubism：用于時(shí)間序列可視化的JavaScript
庫(kù)秦效；
Cytoscape：用于可視化復(fù)雜網(wǎng)絡(luò)的JavaScript
庫(kù)雏蛮；
DC.js：維度圖表，和Crossfilter一起使用阱州，通過(guò)D3
.js呈現(xiàn)出來(lái)挑秉，它比較擅長(zhǎng)連接圖表/
附加的元數(shù)據(jù)，從而徘徊在
D3
的事件附近苔货；
D3：操作文件的JavaScript
庫(kù)犀概；
D3.compose：從可重復(fù)使用的圖表和組件構(gòu)成復(fù)雜的、數(shù)據(jù)驅(qū)動(dòng)的可視化夜惭；
D3Plus：一組相當(dāng)強(qiáng)大的可重用的圖表姻灶，還有D3.js的樣式；
Echarts：百度企業(yè)場(chǎng)景圖表诈茧；
Envisionjs：動(dòng)態(tài)HTML5
可視化产喉；
FnordMetric：寫(xiě)SQL
查詢(xún)，返回
SVG
圖表敢会，而不是表曾沈；
Freeboard：針對(duì)IOT和其他Web
混搭的開(kāi)源實(shí)時(shí)儀表盤(pán)構(gòu)建；
Gephi：屢獲殊榮的開(kāi)源平臺(tái)鸥昏，可視化和操縱大型圖形和網(wǎng)絡(luò)連接塞俱，有點(diǎn)像Photoshop
，但是針對(duì)于圖表吏垮，適用于
Windows
和
Mac OS X
障涯；
Google Charts：簡(jiǎn)單的圖表API
；
Grafana：石墨儀表板前端惫皱、編輯器和圖形組合器像樊；
Graphite：可擴(kuò)展的實(shí)時(shí)圖表；
Highcharts：簡(jiǎn)單而靈活的圖表API
旅敷；
IPython：為交互式計(jì)算提供豐富的架構(gòu)生棍；
Kibana：可視化日志和時(shí)間標(biāo)記數(shù)據(jù)；
Matplotlib：Python
繪圖媳谁；
Metricsgraphic.js：建立在D3
之上的庫(kù)涂滴，針對(duì)時(shí)間序列數(shù)據(jù)進(jìn)行最優(yōu)化；
NVD3：d3.js
的圖表組件晴音；
Peity：漸進(jìn)式SVG
條形圖柔纵，折線(xiàn)和餅圖；
Plot.ly：易于使用的Web
服務(wù)锤躁，它允許快速創(chuàng)建從熱圖到直方圖等復(fù)雜的圖表搁料，使用圖表
Plotly
的在線(xiàn)電子表格上傳數(shù)據(jù)進(jìn)行創(chuàng)建和設(shè)計(jì)；
Plotly.js：支持plotly
的開(kāi)源
JavaScript
圖形庫(kù)；
Recline：簡(jiǎn)單但功能強(qiáng)大的庫(kù)郭计，純粹利用JavaScript
和
HTML
構(gòu)建數(shù)據(jù)應(yīng)用霸琴；
Redash：查詢(xún)和可視化數(shù)據(jù)的開(kāi)源平臺(tái)；
Shiny：針對(duì)R
的
Web
應(yīng)用程序框架昭伸；
Sigma.js：JavaScript
庫(kù)梧乘，專(zhuān)門(mén)用于圖形繪制；
Vega：一個(gè)可視化語(yǔ)法庐杨；
Zeppelin：一個(gè)筆記本式的協(xié)作數(shù)據(jù)分析选调；
Zing Charts：用于大數(shù)據(jù)的JavaScript
圖表庫(kù)。
物聯(lián)網(wǎng)和傳感器
TempoIQ：基于云的傳感器分析灵份；
2lemetry：物聯(lián)網(wǎng)平臺(tái)仁堪；
Pubnub：數(shù)據(jù)流網(wǎng)絡(luò)；
ThingWorx：ThingWorx
是讓企業(yè)快速創(chuàng)建和運(yùn)行互聯(lián)應(yīng)用程序平臺(tái)
各吨；
IFTTT：IFTTT
是一個(gè)被稱(chēng)為 “網(wǎng)絡(luò)自動(dòng)化神器” 的創(chuàng)新型互聯(lián)網(wǎng)服務(wù)
枝笨，它的全稱(chēng)是 If this then that
，意思是“如果這樣揭蜒，那么就那樣”
；
Evrythng：Evrythng
則是一款真正意義上的大眾
物聯(lián)網(wǎng)平臺(tái)剔桨，使得身邊的很多產(chǎn)品變得智能化屉更。
文章推薦
NoSQL Comparison（NoSQL 比較）- Cassandra vs MongoDB vs CouchDB vs Redis vs Riak vs HBase vs Couchbase vs Neo4j vs Hypertable vs ElasticSearch vs Accumulo vs VoltDB vs Scalaris comparison；
Big Data Benchmark（大數(shù)據(jù)基準(zhǔn)）- Redshift, Hive, Shark, Impala and Stiger/Tez的基準(zhǔn)洒缀；
The big data successor of the spreadsheet（電子表格的大數(shù)據(jù)繼承者） -
電子表格的繼承者應(yīng)該是大數(shù)據(jù)瑰谜。
2015 - Facebook - One Trillion Edges: Graph Processing at Facebook-Scale.（一兆邊：Facebook規(guī)模的圖像處理）
2014 - **Stanford
**- Mining of Massive Datasets.（
海量數(shù)據(jù)集挖掘）
2013 - AMPLab - Presto: Distributed Machine Learning and Graph Processing with Sparse Matrices. （Presto：
稀疏矩陣的分布式機(jī)器學(xué)習(xí)和圖像處理）
2013 - AMPLab - MLbase: A Distributed Machine-learning System. （MLbase：
分布式機(jī)器學(xué)習(xí)系統(tǒng)）
2013 - **AMPLab
- Shark: SQL and Rich Analytics at Scale. （Shark: 大規(guī)模的
SQL
和豐富的分析）
2013 - AMPLab
- GraphX: A Resilient Distributed Graph System on Spark. （GraphX:基于
Spark
的彈性分布式圖計(jì)算系統(tǒng)）
2013 - Google** - HyperLogLog in Practice: Algorithmic Engineering of a State of The Art Cardinality Estimation Algorithm. （HyperLogLog實(shí)踐:一個(gè)藝術(shù)形態(tài)的基數(shù)估算算法）
2013 - **Microsoft
- Scalable Progressive Analytics on Big Data in the Cloud.（
云端大數(shù)據(jù)的可擴(kuò)展性漸進(jìn)分析）
2013 - Metamarkets
**- Druid: A Real-time Analytical Data Store. （Druid：
實(shí)時(shí)分析數(shù)據(jù)存儲(chǔ)）
2013 - Google - Online, Asynchronous Schema Change in F1.（
F1
中在線(xiàn)、異步模式的轉(zhuǎn)變）
2013 -** Google **- F1: A Distributed SQL Database That Scales. （F1: 分布式SQL
數(shù)據(jù)庫(kù)）
2013 - Google - MillWheel: Fault-Tolerant Stream Processing at Internet Scale.（
MillWheel: 互聯(lián)網(wǎng)規(guī)模下的容錯(cuò)流處理）
2013 - **Facebook **- Scuba: Diving into Data at Facebook. （Scuba: 深入Facebook
的數(shù)據(jù)世界）
2013 - Facebook - Unicorn: A System for Searching the Social Graph. （Unicorn: 一種搜索社交圖的系統(tǒng)）
2013 -** ****Facebook **- Scaling Memcache at Facebook. （
Facebook
對(duì)
Memcache
伸縮性的增強(qiáng)）
2011 - 2012
2012 - Twitter - The Unified Logging Infrastructure for Data Analytics at Twitter. （Twitter
數(shù)據(jù)分析的統(tǒng)一日志基礎(chǔ)結(jié)構(gòu)）
2012 - AMPLab –Blink and It’s Done: Interactive Queries on Very Large Data. （Blink及其完成：超大規(guī)模數(shù)據(jù)的交互式查詢(xún)）
2012 - AMPLab –Fast and Interactive Analytics over Hadoop Data with Spark. （Spark上 Hadoop數(shù)據(jù)的快速交互式分析）
2012 - AMPLab –Shark: Fast Data Analysis Using Coarse-grained Distributed Memory. （Shark：使用粗粒度的分布式內(nèi)存快速數(shù)據(jù)分析）
2012 - Microsoft –Paxos Replicated State Machines as the Basis of a High-Performance Data Store. （Paxos的復(fù)制狀態(tài)機(jī)——高性能數(shù)據(jù)存儲(chǔ)的基礎(chǔ)）
2012 - Microsoft –Paxos Made Parallel. （Paxos算法實(shí)現(xiàn)并行）
2012 - AMPLab – BlinkDB：BlinkDB: Queries with Bounded Errors and Bounded Response Times on Very Large Data.（超大規(guī)模數(shù)據(jù)中有限誤差與有界響應(yīng)時(shí)間的查詢(xún)）
2012 - Google –Processing a trillion cells per mouse click.（每次點(diǎn)擊處理一兆個(gè)單元格）
2012 - Google –Spanner: Google’s Globally-Distributed Database.（
Spanner：谷歌的全球分布式數(shù)據(jù)庫(kù)）
2011 - AMPLab –Scarlett: Coping with Skewed Popularity Content in MapReduce Clusters.（
Scarlett：應(yīng)對(duì)MapReduce集群中的偏向性?xún)?nèi)容）
2011 - AMPLab –Mesos: A Platform for Fine-Grained Resource Sharing in the Data Center.（
Mesos：數(shù)據(jù)中心中細(xì)粒度資源共享的平臺(tái)）
2011 - Google –Megastore: Providing Scalable, Highly Available Storage for Interactive Services.（
Megastore：為交互式服務(wù)提供可擴(kuò)展树绩，高度可用的存儲(chǔ)）
2010 - **Facebook
**- Finding a needle in Haystack: Facebook’s photo storage.（
探究Haystack
中的細(xì)微之處：
Facebook圖片存儲(chǔ)）
2010 - **AMPLab
** Spark: Cluster Computing with Working Sets.（
Spark:工作組上的集群計(jì)算）
2010 - Google - Storage Architecture and Challenges.（
存儲(chǔ)架構(gòu)與挑戰(zhàn)）
2010 - **Google
**- Pregel: A System for Large-Scale Graph Processing.（
Pregel: 一種大型圖形處理系統(tǒng)）
2010 - **Google
**- Large-scale Incremental Processing Using Distributed Transactions and Noti?cations base of Percolator and Caffeine.（
使用基于Percolator 和 Caffeine平臺(tái)分布式事務(wù)和通知的大規(guī)模增量處理）
2010 - Google - Dremel: Interactive Analysis of Web-Scale Datasets.（Dremel: Web規(guī)模數(shù)據(jù)集的交互分析
）
2010 - **Yahoo
** S4: Distributed Stream Computing Platform.（S4:分布式流計(jì)算平臺(tái)）
2009 - HadoopDB：An Architectural Hybrid of MapReduce and DBMS Technologies for Analytical Workloads.（混合MapReduce
和
DBMS
技術(shù)
用于分析工作負(fù)載的的架構(gòu)）
2008 - AMPLab - Chukwa: A large-scale monitoring system.（Chukwa: 大型監(jiān)控系統(tǒng)）
2007 - **Amazon
**- Dynamo: Amazon’s Highly Available Key-value Store.（Dynamo: 亞馬遜的高可用的關(guān)鍵價(jià)值存儲(chǔ)
）
2006 - Google - The Chubby lock service for loosely-coupled distributed systems.（面向松散耦合的分布式系統(tǒng)的鎖服務(wù)）
2006 - Google - Bigtable: A Distributed Storage System for Structured Data.（Bigtable: 結(jié)構(gòu)化數(shù)據(jù)的分布式存儲(chǔ)系統(tǒng)）
2004 - **Google
- MapReduce: Simplied Data Processing on Large Clusters.（MapReduce: 大型集群上簡(jiǎn)化數(shù)據(jù)處理）
2003 - ****Google**** **- The Google File System.（谷歌文件系統(tǒng)）
視頻
數(shù)據(jù)可視化
數(shù)據(jù)可視化之美
Noah Iliinsky的數(shù)據(jù)可視化設(shè)計(jì)
Hans Rosling's 200 Countries, 200 Years, 4 Minutes
冰桶挑戰(zhàn)的數(shù)據(jù)可視化
