大數(shù)據(jù)處理系統(tǒng)關(guān)鍵層次架構(gòu) - 51CTO.COM
http://bigdata.51cto.com/art/201612/524838.htm?utm_source=tuicool&utm_medium=referral
數(shù)據(jù)存儲層韧衣，還有很多類似的系統(tǒng)和某些系統(tǒng)的變種，這里妙真，我僅僅列出較為出名的幾個害淤。如漏掉某些重要系統(tǒng)如庭，還請諒解愉耙。
一的榛、數(shù)據(jù)存儲層
寬泛地講晰筛，據(jù)對一致性(consistency)要求的強(qiáng)弱不同，分布式數(shù)據(jù)存儲策略莹汤，可分為ACID和BASE兩大陣營快鱼。
ACID是指數(shù)據(jù)庫事務(wù)具有的四個特性：原子性(Atomicity)、一致性(Consistency)纲岭、隔離性(Isolation)抹竹、持久性(Durability)。ACID中的一致性要求比較強(qiáng)止潮，事務(wù)執(zhí)行的結(jié)果必須是使數(shù)據(jù)庫從一個一致性狀態(tài)變到另一個一致性狀態(tài)窃判。
BASE對一致性要求較弱，它的三個特征分別是：基本可用(Basically Available), 軟狀態(tài)/柔性事務(wù)(Soft-state喇闸，即狀態(tài)可以有一段時間的不同步), 最終一致性(Eventual consistency)袄琳。BASE還進(jìn)一步細(xì)分基于鍵值的，基于文檔的和基于列和圖形的 – 細(xì)分的依據(jù)取決于底層架構(gòu)和所支持的數(shù)據(jù)結(jié)構(gòu)(注：BASE完全不同于ACID模型仅偎，它以犧牲強(qiáng)一致性跨蟹，獲得基本可用性和柔性可靠性雳殊，并要求達(dá)到最終一致性)橘沥。
在數(shù)據(jù)存儲層，還有很多類似的系統(tǒng)和某些系統(tǒng)的變種夯秃，這里座咆，我僅僅列出較為出名的幾個。如漏掉某些重要系統(tǒng)仓洼，還請諒解介陶。
1、BASE
(1)鍵值存儲(Key Value Stores)
Dynamo：這是由亞馬遜工程師們設(shè)計(jì)的基于鍵值的高可用的分布式存儲系統(tǒng)(注：Dynamo放棄了數(shù)據(jù)建模的能力色建，所有的數(shù)據(jù)對象采用最簡單的Key-value模型存儲哺呜，可簡單地將Dynamo理解為一個巨大的Map。Dynamo是犧牲了部分一致性箕戳，來換取整個系統(tǒng)的高可用性)某残。
Cassandra：這是由Facebook工程師設(shè)計(jì)的一個離散的分布式結(jié)構(gòu)化存儲系統(tǒng)，受亞馬遜的Dynamo啟發(fā)陵吸，Cassandra采用的是面向多維的鍵值或面向列的數(shù)據(jù)存儲格式(注：Cassandra可用來管理分布在大量廉價服務(wù)器上的巨量結(jié)構(gòu)化數(shù)據(jù)玻墅，并同時提供沒有單點(diǎn)故障的高可用服務(wù))。
Voldemort：這又是一個受亞馬遜的Dynamo啟發(fā)的分布式存儲作品壮虫，由全球最大的職業(yè)社交網(wǎng)站LinkedIn的工程師們開發(fā)而成澳厢。
(2)面向列的存儲(Column Oriented Stores)
BigTable：Bigtable是一個基于Google文件系統(tǒng)的分布式數(shù)據(jù)存儲系統(tǒng)，是為谷歌打拼天下的“三駕馬車”之一，另外兩駕馬車分別是分布式鎖服務(wù)系統(tǒng)Chubby和下文將提到的MapReduce剩拢。
HBase：Hbase是一個分布式的线得、面向列的開源數(shù)據(jù)庫。其設(shè)計(jì)理念源自谷歌的 BigTable徐伐，用Java語言編寫而成框都。
Hypertable：Hypertable也是一個開源、高性能呵晨、可伸縮的數(shù)據(jù)庫魏保，它采用與Google的Bigtable類似的模型。
(3)面向文檔的存儲(Document Oriented Stores)
CouchDB：這是一款面向文檔的摸屠、開源數(shù)據(jù)存儲管理系統(tǒng)谓罗。
MongoDB：是目前非常流行的一種非關(guān)系型(NoSQL)數(shù)據(jù)庫。
(4)面向圖(Graph)的存儲
Neo4j：Neo4j是一款目前最為流行的高性能NoSQL 圖數(shù)據(jù)庫季二，它使用圖來描述數(shù)據(jù)模型檩咱，把數(shù)據(jù)保存為圖中的節(jié)點(diǎn)以及節(jié)點(diǎn)之間的關(guān)系。這是最流行的圖數(shù)據(jù)庫胯舷。
Titan：Titan是一款A(yù)pache許可證框架下的分布式的開源圖數(shù)據(jù)庫刻蚯，特別為存儲和處理大規(guī)模圖而做了大量優(yōu)化。
2桑嘶、ACID
Megastore：這是一個構(gòu)建于BigTable之上的炊汹、高可用的分布式存儲系統(tǒng)。
Spanner：這是由谷歌研發(fā)的逃顶、可擴(kuò)展的讨便、全球分布式的、同步復(fù)制數(shù)據(jù)庫以政，支持SQL查詢訪問霸褒。
MESA：亦是由谷歌研發(fā)的、跨地域復(fù)制(geo-replicated)盈蛮、高可用的废菱、可容錯的、可擴(kuò)展的近實(shí)時數(shù)據(jù)倉庫系統(tǒng)抖誉。
CockroachDB：該系統(tǒng)是由Google前工程師Spencer Kimball領(lǐng)導(dǎo)開發(fā)的Spanner 的開源版本殊轴。
二、資源管理器層(Resource Managers)
第一代Hadoop的生態(tài)系統(tǒng)寸五，其資源管理是以整體單一的調(diào)度器起家的梳凛，其代表作品為YARN。而當(dāng)前的調(diào)度器則是朝著分層調(diào)度的方向演進(jìn)(Mesos則是這個方向的代表作)梳杏，這種分層的調(diào)度方式韧拒，可以管理不同類型的計(jì)算工作負(fù)載淹接，從而可獲取更高的資源利用率和調(diào)度效率。
YARN：這是新一代的MapReduce計(jì)算框架叛溢，簡稱MRv2塑悼，它是在第一代MapReduce的基礎(chǔ)上演變而來的(注：MRv2的設(shè)計(jì)初衷是，為了解決第一代Hadoop系統(tǒng)擴(kuò)展性差楷掉、不支持多計(jì)算框架等問題厢蒜。
Mesos：這是一個開源的計(jì)算框架，可對多集群中的資源做彈性管理烹植。
這些計(jì)算框架和調(diào)度器之間是松散耦合的斑鸦，調(diào)度器的主要功能就是基于一定的調(diào)度策略和調(diào)度配置，完成作業(yè)調(diào)度草雕，以達(dá)到工作負(fù)載均衡巷屿，使有限的資源有較高的利用率。
三墩虹、調(diào)度器(Schedulers)
(1)作業(yè)調(diào)度器嘱巾，通常以插件的方式加載于計(jì)算框架之上，常見的作業(yè)調(diào)度器有4種：
計(jì)算能力調(diào)度器
公平調(diào)度器
延遲調(diào)度
公平與能力調(diào)度器
(2)協(xié)調(diào)器(Coordination)
在分布式數(shù)據(jù)系統(tǒng)中诫钓，協(xié)調(diào)器主要用于協(xié)調(diào)服務(wù)和進(jìn)行狀態(tài)管理旬昭。
Paxos：Google的Chubby和Apache的Zookeeper，都是用Paxos作為其理論基礎(chǔ)實(shí)現(xiàn)的菌湃。
Chubby：本質(zhì)上就是前文提到的Paxos的一個實(shí)現(xiàn)版本问拘，主要用于谷歌分布式鎖服務(wù)。
Zookeeper：這是Apache Hadoop框架下的Chubby開源版本慢味。它不僅僅提供簡單地上鎖服務(wù)场梆，而事實(shí)上，它還是一個通用的分布式協(xié)調(diào)器纯路，其設(shè)計(jì)靈感來自谷歌的Chubby。
在數(shù)據(jù)存儲層寞忿，還有很多類似的系統(tǒng)和某些系統(tǒng)的變種驰唬，這里，我僅僅列出較為出名的幾個腔彰。如漏掉某些重要系統(tǒng)叫编，還請諒解。
四霹抛、計(jì)算框架(Computational Frameworks)
(0)運(yùn)行時計(jì)算框架
可為不同種類的計(jì)算搓逾，提供運(yùn)行時(runtime)環(huán)境。最常用的是運(yùn)行時計(jì)算框架是Spark和Flink杯拐。
Spark：Spark是一個基于內(nèi)存計(jì)算的開源的集群計(jì)算系統(tǒng)霞篡，其目的在于世蔗，讓數(shù)據(jù)分析更加快速。Spark是由加州大學(xué)伯克利分校的AMP實(shí)驗(yàn)室采用Scala語言開發(fā)而成朗兵。Spark的內(nèi)存計(jì)算框架污淋，適合各種迭代算法和交互式數(shù)據(jù)分析，能夠提升大數(shù)據(jù)處理的實(shí)時性和準(zhǔn)確性余掖，現(xiàn)已逐漸獲得很多企業(yè)的支持寸爆，如阿里巴巴、百度盐欺、網(wǎng)易赁豆、英特爾等公司均是其用戶。
Flink：這是一個非常類似于Spark的計(jì)算框架冗美，但在迭代式數(shù)據(jù)處理上歌憨，比Spark更給力(注：目前大數(shù)據(jù)分析引擎Flink，已升級成為Apache頂級項(xiàng)目)墩衙。
Spark和Flink都屬于基礎(chǔ)性的大數(shù)據(jù)處理引擎务嫡。具體的計(jì)算框架，大體上漆改，可根據(jù)采用的模型及延遲的處理不同心铃，來進(jìn)行分門別類。
(1)批處理(Batch)
MapReduce
(2)迭代式(BSP)
Pregel：Pregel是一種面向圖算法的分布式編程框架挫剑，其采用的是迭代式的計(jì)算模型去扣。它被稱之為Google后Hadoop時代的新“三駕馬車”之一。另外兩駕馬車分別是：“交互式”大數(shù)據(jù)分析系統(tǒng)Dremel和網(wǎng)絡(luò)搜索引擎Caffeine樊破。
Giraph：該系統(tǒng)建模于谷歌的Pregel愉棱，可視為Pregel的開源版本，它是一個基于 Hadoop架構(gòu)的哲戚、可擴(kuò)展的分布式迭代圖處理系統(tǒng)奔滑。
GraphX：這是一個同時采用圖并行計(jì)算和數(shù)據(jù)并行的計(jì)算框架，GraphX最先是加州大學(xué)伯克利分校AMPLab實(shí)驗(yàn)室的一個分布式圖計(jì)算框架項(xiàng)目顺少，后來整合到Spark中朋其，成為其中的一個核心組件。GraphX最大的貢獻(xiàn)在于脆炎，在Spark之上提供一棧式數(shù)據(jù)解決方案梅猿，可方便高效地完成圖計(jì)算的一整套流水作業(yè)。
Hama：是一個構(gòu)建Hadoop之上的基于BSP模型的分布式計(jì)算引擎秒裕，Hama的運(yùn)行環(huán)境需要關(guān)聯(lián) Zookeeper袱蚓、HBase、HDFS 組件几蜻。Hama中最關(guān)鍵的技術(shù)喇潘，就是采用了BSP模型(Bulk Synchronous Parallel体斩，即整體同步并行計(jì)算模型，又名大同步模型)响蓉。
(3)流式(Streaming)
Storm：Storm有時也被人們稱為實(shí)時處理領(lǐng)域的Hadoop硕勿，它大大簡化了面向龐大規(guī)模數(shù)據(jù)流的處理機(jī)制，從而在實(shí)時處理領(lǐng)域扮演著重要角色枫甲。
Samza：這是一款由Linkedin公司開發(fā)的分布式的流式數(shù)據(jù)處理框架(注：所謂流式數(shù)據(jù)源武，是指要在處理單位內(nèi)得到的數(shù)據(jù)，這種方式更注重于實(shí)時性想幻，流式數(shù)據(jù)有時也稱為快數(shù)據(jù))粱栖。
Spark流：Spark Streaming是Spark 核心API的一個擴(kuò)展，它并不會像Storm那樣逐個處理數(shù)據(jù)流脏毯，而是在處理前闹究，按時間間隔預(yù)先將其切分為很多小段的批處理作業(yè)。
(4)交互式(Interactive)
Dremel該論文是多個基于Hadoop的開源SQL系統(tǒng)的理論基礎(chǔ)食店。
Impala：這是一個大規(guī)模并行處理(MPP)式 SQL 大數(shù)據(jù)分析引擎渣淤，Impala像Dremel一樣，其借鑒了MPP(Massively Parallel Processing吉嫩，大規(guī)模并行處理)并行數(shù)據(jù)庫的思想价认，拋棄了MapReduce這個不太適合做SQL查詢的范式，從而讓Hadoop支持處理交互式的工作負(fù)載自娩。
Drill：這是谷歌 Dremel的開源版本用踩，Drill是一個低延遲的、能對海量數(shù)據(jù)(包括結(jié)構(gòu)化忙迁、半結(jié)構(gòu)化及嵌套數(shù)據(jù))實(shí)施交互式查詢的分布式數(shù)據(jù)引擎脐彩。
Shark：Shark即“Hive on Spark”的含義，本質(zhì)上是通過Hive的HQL解析姊扔，把HQL翻譯成Spark上的RDD操作惠奸。然后通過Hive的元數(shù)據(jù)獲，取數(shù)據(jù)庫里的表信息旱眯。HDFS上的數(shù)據(jù)和文件晨川，最后會由Shark獲取，并放到Spark上運(yùn)算删豺。Shark基于 Scala語言的算子推導(dǎo)，可實(shí)現(xiàn)良好的容錯機(jī)制愧怜，對執(zhí)行失敗的長/短任務(wù)呀页，均能從上一個“快照點(diǎn)(Snapshot)”進(jìn)行快速恢復(fù)。
Dryad：Dryad是一個通用的粗顆粒度的分布式計(jì)算和資源調(diào)度引擎拥坛，其核心特性之一蓬蝶，就是允許用戶自己構(gòu)建DAG調(diào)度拓?fù)鋱D尘分。
Tez：其核心思想來源于Dryad，可視為利用Yarn(即MRv2)對Dryad的開源實(shí)現(xiàn)丸氛。Apache Tez是基于Hadoop Yarn之上的DAG計(jì)算框架培愁。
BlinkDB：可在抽樣數(shù)據(jù)上實(shí)現(xiàn)交互式查詢，其呈現(xiàn)出的查詢結(jié)果缓窜，附帶有誤差標(biāo)識定续。BlinkDB 是一個用于在海量數(shù)據(jù)上運(yùn)行交互式 SQL 查詢的大規(guī)模并行查詢引擎。BlinkDB允許用戶通過適當(dāng)降低數(shù)據(jù)精度禾锤，對數(shù)據(jù)進(jìn)行先采樣后計(jì)算私股，其通過其獨(dú)特的優(yōu)化技術(shù)，實(shí)現(xiàn)了比Hive快百倍的交互式查詢速度恩掷，而查詢進(jìn)度誤差僅降低2~10%倡鲸。
(5)實(shí)時系統(tǒng)(RealTime)
Druid：這是一個開源的分布式實(shí)時數(shù)據(jù)分析和存儲系統(tǒng)，旨在快速處理大規(guī)模的數(shù)據(jù)黄娘，并能做到快速查詢和分析峭状。
Pinot：這是由LinkedIn公司出品的一個開源的、實(shí)時分布式的 OLAP數(shù)據(jù)分析存儲系統(tǒng)逼争，非常類似于前面提到的Druid优床，LinkedIn 使用它實(shí)現(xiàn)低延遲可伸縮的實(shí)時分析。
五氮凝、數(shù)據(jù)分析層(Data Analysis)
數(shù)據(jù)分析層中的工具羔巢，涵蓋范圍很廣，從諸如SQL的聲明式編程語言罩阵，到諸如Pig的過程化編程語言竿秆，均有涉及。另一方面稿壁，數(shù)據(jù)分析層中的庫也很豐富幽钢，可支持常見的數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)算法，這些類庫可拿來即用傅是，甚是方便匪燕。
(1)工具(Tools)
Pig：Pig Latin原是一種兒童黑話，屬于是一種英語語言游戲喧笔，形式是在英語上加上一點(diǎn)規(guī)則使發(fā)音改變帽驯，讓大人們聽不懂，從而完成孩子們獨(dú)懂的交流书闸。雅虎的工程師們于2008年發(fā)表在SIGMOD的一篇論文尼变，論文的題目是“Pig Latin：并不是太老外的一種數(shù)據(jù)語言”，言外之意浆劲，他們發(fā)明了一種數(shù)據(jù)處理的“黑話”——Pig Latin嫌术，一開始你可能不懂哀澈，等你熟悉了，就會發(fā)現(xiàn)這種數(shù)據(jù)查詢語言的樂趣所在度气。
Hive：Hive是一個建立于 Hadoop 上的數(shù)據(jù)倉庫基礎(chǔ)構(gòu)架割按。它用來進(jìn)行數(shù)據(jù)的提取、轉(zhuǎn)化和加載(即Extract-Transform-Load 磷籍，ETL)适荣，它是一種可以存儲、查詢和分析存儲在 Hadoop 中的大規(guī)模數(shù)據(jù)的機(jī)制择示。
Phoenix：它是 HBase 的 SQL 驅(qū)動束凑，Phoenix可將 SQL 查詢轉(zhuǎn)成 HBase 的掃描及相應(yīng)的動作。
(2)庫(Libraires)
MLlib：這是在Spark計(jì)算框架中對常用的機(jī)器學(xué)習(xí)算法的實(shí)現(xiàn)庫栅盲，該庫還包括相關(guān)的測試和數(shù)據(jù)生成器汪诉。
SparkR：這是AMPLab發(fā)布的一個R開發(fā)包，為Apache Spark提供輕量級的前端谈秫。
Mahout：這是一個功能強(qiáng)大的數(shù)據(jù)挖掘工具扒寄，是一個基于傳統(tǒng)Map Reduce的分布式機(jī)器學(xué)習(xí)框架，Mahout的中文含義就是“馭象之人”拟烫，而Hadoop的Logo正是一頭小黃象该编。很明顯，這個庫是幫助用戶用好Hadoop這頭難用的大象硕淑。
六课竣、數(shù)據(jù)集成層(Data Integration)
數(shù)據(jù)集成框架提供了良好的機(jī)制，以協(xié)助高效地?cái)z取和輸出大數(shù)據(jù)系統(tǒng)之間的數(shù)據(jù)置媳。從業(yè)務(wù)流程線到元數(shù)據(jù)框架于樟，數(shù)據(jù)集成層皆有涵蓋，從而提供全方位的數(shù)據(jù)在整個生命周期的管理和治理拇囊。
(1)攝入/消息傳遞(Ingest/Messaging)
Flume：這是Apache旗下的一個分布式的迂曲、高可靠的、高可用的服務(wù)框架寥袭，可協(xié)助從分散式或集中式數(shù)據(jù)源采集路捧、聚合和傳輸海量日志。
Sqoop：該系統(tǒng)主要用來在Hadoop和關(guān)系數(shù)據(jù)庫中傳遞數(shù)據(jù)传黄，Sqoop目前已成為Apache的頂級項(xiàng)目之一杰扫。
Kafka：這是由LinkedIn開發(fā)的一個分布式消息系統(tǒng)，由Scala編寫而成膘掰。由于可水平擴(kuò)展涉波、吞吐率高等特性，得到廣泛應(yīng)用炭序。
(2)ETL/工作流
ETL是數(shù)據(jù)抽取(Extract)啤覆、清洗(Cleaning)、轉(zhuǎn)換(Transform)惭聂、裝載(Load)的過程窗声，是構(gòu)建數(shù)據(jù)倉庫的重要一環(huán)。
Crunch：這是Apache旗下的一套Java API函數(shù)庫辜纲，它能夠大大簡化編寫笨觅、測試、運(yùn)行MapReduce 處理工作流的程序耕腾。
Falcon：這是Apache旗下的Falcon大數(shù)據(jù)管理框架见剩，可以幫助用戶自動遷移和處理大數(shù)據(jù)集合。
Cascading：這是一個架構(gòu)在Hadoop上的API函數(shù)庫扫俺，用來創(chuàng)建復(fù)雜的可容錯的數(shù)據(jù)處理工作流苍苞。
Oozie：是一個工作流引擎，用來協(xié)助Hadoop作業(yè)管理狼纬，Oozie字面含義是馴象之人羹呵，其寓意和Mahout一樣，幫助用戶更好地搞定Hadoop這頭大象疗琉。
(3)元數(shù)據(jù)(Metadata)
HCatalog： 它提供了面向Apache Hadoop的數(shù)據(jù)表和存儲管理服務(wù)冈欢，Apache HCatalog提供一個共享的模式和數(shù)據(jù)類型的機(jī)制，它抽象出表盈简，使用戶不必關(guān)心數(shù)據(jù)怎么存儲凑耻，并提供了可操作的跨數(shù)據(jù)處理工具。
(4)序列化(Serialization)
Protocol Buffers：由Google推廣的一種與語言無關(guān)的柠贤、對結(jié)構(gòu)化數(shù)據(jù)進(jìn)行序列化和反序列化的機(jī)制香浩。
Avro：這是一個建模于Protocol Buffers之上的、Hadoop生態(tài)系統(tǒng)中的子項(xiàng)目种吸，Avro本身既是一個序列化框架弃衍，同時也實(shí)現(xiàn)了RPC的功能。
七坚俗、操作框架(Operational Frameworks)
最后镜盯，我們還需要一個操作性框架，來構(gòu)建一套衡量標(biāo)準(zhǔn)和測試基準(zhǔn)猖败，從而來評價各種計(jì)算框架的性能優(yōu)劣速缆。在這個操作性框架中，還需要包括性能優(yōu)化工具恩闻，借助它來平衡工作負(fù)載艺糜。
(1)監(jiān)測管理框架(Monitoring Frameworks)
OpenTSDB：這是構(gòu)建于HBase之上的實(shí)時性能評測系統(tǒng)。
Ambari：這是一款基于Web的系統(tǒng)，支持Apache Hadoop集群的供應(yīng)破停、管理和監(jiān)控翅楼。
(2)基準(zhǔn)測試(Benchmarking)
YCSB：YCSB是雅虎云服務(wù)基準(zhǔn)測試(Yahoo! Cloud Serving Benchmark)的簡寫。見名知意真慢，它是由雅虎出品的一款通用云服務(wù)性能測試工具毅臊。
GridMix：該系統(tǒng)通過運(yùn)行大量合成的作業(yè)，對Hadoop系統(tǒng)進(jìn)行基準(zhǔn)測試黑界，從而獲得性能評價指標(biāo)管嬉。
