Hadoop概要

到底是業(yè)務(wù)推動了技術(shù)的發(fā)展白翻，還是技術(shù)推動了業(yè)務(wù)的發(fā)展乍炉，這個話題放在什么時候都會惹來一些爭議。

隨著互聯(lián)網(wǎng)以及物聯(lián)網(wǎng)的蓬勃發(fā)展滤馍，我們進入了大數(shù)據(jù)時代岛琼。IDC預(yù)測，到2020年,全球會有44ZB的數(shù)據(jù)量巢株。傳統(tǒng)存儲和技術(shù)架構(gòu)無法滿足需求槐瑞。在2013年出版的《大數(shù)據(jù)時代》一書中，定義了大數(shù)據(jù)的5V特點：Volume(大量)纯续、Velocity(高速)随珠、Variety(多樣)、Value(低價值密度)猬错、Veracity(真實性)窗看。

當我們把時間往回看10年，來到了2003年倦炒，這一年Google發(fā)表《Google File System》显沈，其中提出一個GFS集群中由多個節(jié)點組成，其中主要分為兩類：一個Master node逢唤，很多Chunkservers拉讯。之后于2004年Google發(fā)表論文并引入MapReduce。2006年2月鳖藕，Doug Cutting等人在Nutch項目上應(yīng)用GFS和 MapReduce思想,并演化為Hadoop項目魔慷。

Doug Cutting曾經(jīng)說過他非常喜歡自己的程序被千萬人使用的感覺，很明顯著恩，他做到了;下圖就是本尊照片院尔，帥氣的一塌糊涂

enter image description here

</center>

2008年1月, Hadoop成為Apache的開源項目蜻展。

Hadoop的出現(xiàn)解決了互聯(lián)網(wǎng)時代的海量數(shù)據(jù)存儲和處理，其是一種支持分布式計算和存儲的框架體系邀摆。假如把Hadoop集群抽象成一臺機器的話纵顾，理論上我們的硬件資源(CPU、Memoery等)是可以無限擴展的栋盹。

Hadoop通過其各個組件來擴展其應(yīng)用場景施逾，例如離線分析、實時處理等例获。

Hadoop相關(guān)組件介紹

本文主要是依據(jù)Hadoop2.7版本汉额，后面沒有特殊說明也是按照此版本

HDFS

HDFS,Hadoop Distributed File System (Hadoop分布式文件系統(tǒng))被設(shè)計成適合運行在通用硬件(commodity hardware)上的分布式文件系統(tǒng)。它和現(xiàn)有的分布式文件系統(tǒng)有很多共同點躏敢，例如典型的Master/Slave架構(gòu)(這里不準備展開介紹);然而HDFS是一個高度容錯性的系統(tǒng)闷愤，適合部署在廉價的機器上。

關(guān)于HDFS主要想說兩點件余。

? HDFS中的默認副本數(shù)是3讥脐，這里涉及到一個問題為什么是3而不是2或者4。
? 機架感知(Rack Awareness)啼器。

只有深刻理解了這兩點才能理解為什么Hadoop有著高度的容錯性旬渠，高度容錯性是Hadoop可以在通用硬件上運行的基礎(chǔ)。

Yarn

Yarn,Yet Another Resource Negotiator(又一個資源協(xié)調(diào)者)端壳，是繼Common告丢、HDFS、MapReduce之后Hadoop 的又一個子項目损谦。Yarn的出現(xiàn)是因為在Hadoop1.x中存在如下幾個問題：

? 擴展性差岖免。JobTracker兼?zhèn)滟Y源管理和作業(yè)控制兩個功能。
? 可靠性差照捡。在Master/Slave架構(gòu)中,存在Master單點故障颅湘。
? 資源利用率低。Map Slot(1.x中資源分配的單位)和Reduce Slot分開,兩者之間無法共享栗精。
? 無法支持多種計算框架闯参。MapReduce計算框架是基于磁盤的離線計算 模型,新應(yīng)用要求支持內(nèi)存計算、流式計算悲立、迭代式計算等多種計算框架鹿寨。

Yarn通過拆分原有的JobTracker為：

? 全局的 ResourceManager(RM)。
? 每個Application有一個ApplicationMaster(AM)薪夕。

由Yarn專門負責(zé)資源管理,JobTracker可以專門負責(zé)作業(yè)控制,Yarn接替 TaskScheduler的資源管理功能,這種松耦合的架構(gòu)方式 實現(xiàn)了Hadoop整體框架的靈活性脚草。

Hive

Hive的是基于Hadoop上的數(shù)據(jù)倉庫基礎(chǔ)構(gòu)架，利用簡單的SQL語句(簡稱HQL)來查詢原献、分析存儲在HDFS的數(shù)據(jù)玩讳。并且把SQL語句轉(zhuǎn)換成MapReduce程序來數(shù)據(jù)的處理涩蜘。

Hive與傳統(tǒng)的關(guān)系數(shù)據(jù)庫主要區(qū)別在以下幾點：

? 存儲的位置 Hive的數(shù)據(jù)存儲在HDFS或者Hbase中嚼贡，而后者一般存儲在裸設(shè)備或者本地的文件系統(tǒng)中熏纯。

? 數(shù)據(jù)庫更新 Hive是不支持更新的，一般是一次寫入多次讀寫粤策。

? 執(zhí)行SQL的延遲 Hive的延遲相對較高樟澜，因為每次執(zhí)行HQL需要解析成MapReduce。

? 數(shù)據(jù)的規(guī)模上 Hive一般是TB級別叮盘，而后者相對較小秩贰。

? 可擴展性上 Hive支持UDF/UDAF/UDTF，后者相對來說較差柔吼。

HBase

HBase毒费，是Hadoop Database，是一個高可靠性愈魏、高性能觅玻、面向列、可伸縮的分布式存儲系統(tǒng)培漏。它底層的文件系統(tǒng)使用HDFS溪厘，使用Zookeeper來管理集群的HMaster和各Region server之間的通信，監(jiān)控各Region server的狀態(tài)牌柄，存儲各Region的入口地址等畸悬。

HBase是Key-Value形式的數(shù)據(jù)庫(類比Java中的Map)。那么既然是數(shù)據(jù)庫那肯定就有表珊佣，HBase中的表大概有以下幾個特點：

? 大：一個表可以有上億行蹋宦，上百萬列(列多時，插入變慢)咒锻。

? 面向列：面向列(族)的存儲和權(quán)限控制冷冗，列(族)獨立檢索。

? 稀疏：對于為空(null)的列虫碉，并不占用存儲空間贾惦，因此，表可以設(shè)計的非常稀疏敦捧。

? 每個cell中的數(shù)據(jù)可以有多個版本须板，默認情況下版本號自動分配，是單元格插入時的時間戳兢卵。

? HBase中的數(shù)據(jù)都是字節(jié)习瑰，沒有類型(因為系統(tǒng)需要適應(yīng)不同種類的數(shù)據(jù)格式和數(shù)據(jù)源，不能預(yù)先嚴格定義模式)秽荤。

Spark

Spark是由伯克利大學(xué)開發(fā)的分布式計算引擎甜奄，解決了海量數(shù)據(jù)流式分析的問題柠横。Spark首先將數(shù)據(jù)導(dǎo)入Spark集群，然后再通過基于內(nèi)存的管理方式對數(shù)據(jù)進行快速掃描 课兄，通過迭代算法實現(xiàn)全局I/O操作的最小化牍氛，達到提升整體處理性能的目的，這與Hadoop從“計算”找“數(shù)據(jù)”的實現(xiàn)思路是類似的烟阐。

Other Tools

Phoneix

基于Hbase的SQL接口搬俊，安裝完P(guān)honeix之后可以適用SQL語句來操作Hbase數(shù)據(jù)庫。

Sqoop

Sqoop的主要作用是方便不同的關(guān)系數(shù)據(jù)庫將數(shù)據(jù)遷移到Hadoop蜒茄，支持多種數(shù)據(jù)庫例如Postgres唉擂，Mysql等。

Hadoop集群硬件和拓撲規(guī)劃

規(guī)劃這件事情并沒有最優(yōu)解檀葛，只是在預(yù)算玩祟、數(shù)據(jù)規(guī)模、應(yīng)用場景下之間的平衡屿聋。

硬件配置

Raid

首先Raid是否需要空扎，在回答這個問題之前，我們首先了解什么是Raid0以及Raid1胜臊。

Raid0是提高存儲性能的原理是把連續(xù)的數(shù)據(jù)分散到多個磁盤上存取勺卢，這樣，系統(tǒng)有數(shù)據(jù)請求就可以被多個磁盤并行的執(zhí)行象对，每個磁盤執(zhí)行屬于它自己的那部分數(shù)據(jù)請求黑忱。這種數(shù)據(jù)上的并行操作可以充分利用總線的帶寬，顯著提高磁盤整體存取性能勒魔。(來源百度百科)

當Raid0與Hadoop結(jié)合在一起會產(chǎn)生什么影響呢?

優(yōu)勢：

? 提高IO甫煞。
? 加快讀寫。
? 消除單塊磁盤的讀寫過熱的情況冠绢。

然而在Hadoop系統(tǒng)中抚吠，當Raid0中的一塊磁盤數(shù)據(jù)出現(xiàn)問題(或者讀寫變得很慢的時候)時，你需要重新格式化整個Raid弟胀，并且數(shù)據(jù)需要重新恢復(fù)到DataNode中楷力。整個周期會隨著數(shù)據(jù)的增加而逐步增加。

其次Raid0的瓶頸是Raid中最慢的那一塊盤孵户，當你需要替換其中最慢的那一塊盤的時候就會重新格式化整個Raid然后恢復(fù)數(shù)據(jù)萧朝。

RAID 1通過磁盤數(shù)據(jù)鏡像實現(xiàn)數(shù)據(jù)冗余，在成對的獨立磁盤上產(chǎn)生互 為備份的數(shù)據(jù)夏哭。當原始數(shù)據(jù)繁忙時检柬，可直接從鏡像拷貝中讀取數(shù)據(jù)，因此RAID 1可以提高讀取性能竖配。RAID 1是磁盤陣列中單位成本最高的何址，但提供了很高的數(shù)據(jù)安全性和可用性里逆。當一個磁盤失效時，系統(tǒng)可以自動切換到鏡像磁盤上讀寫用爪，而不需要重組失效的數(shù)據(jù)原押。(來源百度百科)

所以Raid1的本質(zhì)是提高數(shù)據(jù)的冗余，而Hadoop本身默認就是3個副本项钮，所以當存在Raid1時候班眯，副本數(shù)將會變成6，將會提高系統(tǒng)對于硬件資源的需求烁巫。

所以在Hadoop系統(tǒng)中不建議適用Raid的，其實更加推薦JBOD宠能，當一塊磁盤出現(xiàn)問題時亚隙，直接unmount然后替換磁盤(很多時候直接換機器的)。

集群規(guī)模及資源

這里主要依據(jù)數(shù)據(jù)總量來推算集群規(guī)模违崇，不考慮CPU以以及內(nèi)存配置阿弃。

一般情況來說，我們是根據(jù)磁盤的的需求來計算需要機器的個數(shù)羞延。

首先我們需要調(diào)研整個系統(tǒng)的當量以及增量數(shù)據(jù)渣淳。

舉個例子來說，假如現(xiàn)在系統(tǒng)中存在8T的數(shù)據(jù)伴箩，默認副本數(shù)為3入愧，那么所需要的存儲=8T*3/80% = 30T左右。

每臺機器存儲為6T嗤谚，則數(shù)據(jù)節(jié)點個數(shù)為5棺蛛。

加上Master節(jié)點，不考慮HA的情況下巩步，大概是6臺左右機器旁赊。

軟件配置

根據(jù)業(yè)務(wù)需求是否需要配置HA方案進行劃分,由于實際場景復(fù)雜多變，下面方案僅供參考椅野。

1.非HA方案

一般考慮將所有的管理節(jié)點放在一臺機器上终畅，同時在數(shù)據(jù)節(jié)點上啟動若干個Zookeeper服務(wù)(奇數(shù))。

? 管理節(jié)點：NameNode+ResourceManager+HMaster
? 數(shù)據(jù)節(jié)點：SecondaryNameNode
? 數(shù)據(jù)節(jié)點：DataNode +RegionServer+Zookeeper

2.HA方案

在HA方案中竟闪，需要將Primary Node 與Standby Node 放在不同的機器上离福，一般在實際場景中，考慮到節(jié)省機器瘫怜，可能會將不同的組件的Master節(jié)點進行交叉互備术徊，如A機器上有Primary NameNonde 以及 Standby HMaster ，B機器上有Standby NameNode 以及 Primary Master鲸湃。

? 管理節(jié) 點：NameNode(Primary)+HMaster(Standby)
? 管理節(jié)點：NameNode(Standby)+HMaster(Primary)
? 管理節(jié)點：ResourceManager
? 數(shù)據(jù)節(jié)點：DataNode +RegionServer+Zookeeper

Hadoop的設(shè)計目標和適用場景

其實在上面的Hadoop概要上我們就可以看到Hadoop當初的設(shè)計目標是什么赠涮。Hadoop在很多場合下都是大數(shù)據(jù)的代名詞子寓。其主要是用來處理半結(jié)構(gòu)以及非結(jié)構(gòu)數(shù)據(jù)(例如MapReduce)。

其本質(zhì)也是通過Mapreduce程序來將半結(jié)構(gòu)化或者非結(jié)構(gòu)化的數(shù)據(jù)結(jié)構(gòu)化繼而來進行后續(xù)的處理笋除。

其次由于Hadoop是分布式的架構(gòu)斜友，其針對的是大規(guī)模的數(shù)據(jù)處理，所以相對較少的數(shù)據(jù)量并不能體現(xiàn)Hadoop的優(yōu)勢垃它。例如處理GB級別的數(shù)據(jù)量鲜屏，利用傳統(tǒng)的關(guān)系型數(shù)據(jù)庫的速度可能相對較快。

基于上述來看Hadoop的適用場景如下：

? 離線日志的處理(包括ETL過程国拇，其實本質(zhì)就是基于Hadoop的數(shù)據(jù)倉庫)洛史。
? 大規(guī)模并行計算。
? Hadoop的架構(gòu)解析

Hadoop由主要由兩部分組成：

? 分布式文件系統(tǒng)(HDFS)酱吝，主要用于大規(guī)模的數(shù)據(jù)存儲也殖。
? 分布式計算框架MapReduce，其主要用來對HDFS上的數(shù)據(jù)進行運算處理务热。

HDFS主要由NameNode(Master)以及DataNode(Slave)組成忆嗜。前者主要是對命名空間管理：如對HDFS中的目錄、文件和塊做類似 文件系統(tǒng)的創(chuàng)建崎岂、修改捆毫、刪除、列表文件和目錄等基本操作冲甘。后者存儲實際的數(shù)據(jù)塊绩卤，并與NameNode保持一定的心跳。

MapReduce2.0的計算框架本質(zhì)是有Yarn來完成的损合，Yarn是關(guān)注點分離的思路省艳，由Yarn專門負責(zé)資源管理 ，JobTracker可以專門負責(zé)作業(yè)控制嫁审，Yarn接替 TaskScheduler的資源管理功能跋炕，這種松耦合的架構(gòu)方式 實現(xiàn)了Hadoop整體框架的靈活性。

MapReduce工作原理和案例說明

MapReduce可謂Hadoop的精華所在律适，是用于數(shù)據(jù)處理的編程模型辐烂。MapReduce從名稱上面可以看到Map以及Reduce兩個部分。其思想類似于先分后合捂贿，Map對與數(shù)據(jù)進行抽取轉(zhuǎn)換纠修，Reduce對數(shù)據(jù)進行匯總。其中需要注意的是Map任務(wù)將輸出結(jié)果存儲在本地磁盤,而不是HDFS厂僧。

在我們執(zhí)行MapReduce的過程中扣草，根據(jù)Map與數(shù)據(jù)庫的關(guān)系大體上可以分為三類：

? 數(shù)據(jù)本地
? 機架本地
? 跨機架

image

</center>

從上述幾種可以看出來，假設(shè)一個MapReduce過程中存在大量的數(shù)據(jù)移動對于執(zhí)行效率來說是災(zāi)難性。

MapReduce數(shù)據(jù)流

從數(shù)據(jù)流來看MapReduce的關(guān)系大體可以分為以下幾類：

單Reduce

enter image description here

</center>

多Reduce

enter image description here

</center>

無Reduce

enter image description here

</center>

然而無論什么MapReduce關(guān)系如何辰妙，MapReduce的執(zhí)行流程都如下圖所示：

enter image description here

</center>

其中在執(zhí)行每個Map Task時鹰祸，無論Map方法中執(zhí)行什么邏輯，最終都是要把輸出寫到磁盤上密浑。如果沒有Reduce階段蛙婴，則直接輸出到HDFS上。如果有Reduce作業(yè)尔破，則每個Map方法的輸出在寫磁盤前線在內(nèi)存中緩存街图。每個Map Task都有一個環(huán)狀的內(nèi)存緩沖區(qū)，存儲著Map的輸出結(jié)果懒构，默認100m餐济，在每次當緩沖區(qū)快滿的時候由一個獨立的線程將緩沖區(qū)的數(shù)據(jù)以一個溢出文件的方式存放到磁盤，當整個Map Task結(jié)束后再對磁盤中這個Map Task產(chǎn)生的所有溢出文件做合并痴脾，被合并成已分區(qū)且已排序的輸出文件颤介。然后等待Reduce Task來拉數(shù)據(jù)。

上述這個過程其實也MapReduce中赫赫有名的Shuffle過程赞赖。

MapReduce實際案例

Raw Data

原始的數(shù)據(jù)文件是普通的文本文件，每一行記錄中存在一個年份以及改年份中每一天的溫度冤灾。

enter image description here

</center>

Map

Map過程中前域，將每一行記錄都生成一個key，key一般是改行在文件中的行數(shù)(Offset)韵吨，例如下圖中的0匿垄，106代表第一行、第107行归粉。其中粗體的地方代表年份以及溫度椿疗。

enter image description here

</center>

Shuffle

該過程中獲取所要的記錄組成鍵值對{年份，溫度}糠悼。

enter image description here

</center>

Sort

將上一步過程中的相同key的value組成一個list届榄，即{年份，List<溫度>}倔喂，傳到Reduce端铝条。

enter image description here

</center>

Reduce

Reduce端對list進行處理，獲取最大值席噩，然后輸出到HDFS中班缰。

enter image description here

</center>

上述過程進行總結(jié)下來流程如下：

enter image description here

</center>