轉(zhuǎn)自:http://blog.csdn.net/babyfish13/article/details/52527665
1茴厉、hadoop1.0時期架構(gòu)
2胎食、hadoop2.0時期架構(gòu)
3愧捕、hdfs架構(gòu)
Active Namenode
主 Master(只有一個)奶段,管理 HDFS 的名稱空間孵奶,管理數(shù)據(jù)塊映射信息槐臀;配置副本策略;處理客戶端讀寫請求
Secondary NameNode
NameNode 的熱備畴蹭;定期合并 fsimage 和 fsedits坦仍,推送給 NameNode;當(dāng) Active NameNode 出現(xiàn)故障時叨襟,快速切換為新的 Active NameNode繁扎。
Datanode
Slave(有多個);存儲實際的數(shù)據(jù)塊;執(zhí)行數(shù)據(jù)塊讀 / 寫
Client
與 NameNode 交互梳玫,獲取文件位置信息爹梁;與 DataNode 交互,讀取或者寫入數(shù)據(jù)提澎;管理 HDFS卫键、訪問 HDFS。
4虱朵、MapReduce
源自于 Google 的 MapReduce 論文
發(fā)表于 2004 年 12 月
Hadoop MapReduce 是 Google MapReduce 克隆版
MapReduce特點
良好的擴展性
高容錯性
適合 PB 級以上海量數(shù)據(jù)的離線處理
5莉炉、yarn架構(gòu)
6、hadoop1.0與hadoop2.0比較圖
7碴犬、Hive(基于MR的數(shù)據(jù)倉庫)
由Facebook開源絮宁,最初用于海量結(jié)構(gòu)化日志數(shù)據(jù)統(tǒng)計;ETL(Extraction-Transformation-Loading)工具構(gòu)建在Hadoop之上的數(shù)據(jù)倉庫服协;數(shù)據(jù)計算使用 MapReduce绍昂,數(shù)據(jù)存儲使用HDFS
Hive 定義了一種類 SQL 查詢語言——HQL
類似SQL,但不完全相同
通常用于進行離線數(shù)據(jù)處理(采用 MapReduce)偿荷;可認為是一個 HQL→MR 的語言翻譯器
8窘游、Hbase(分布式數(shù)據(jù)庫)
源自 Google 的 Bigtable 論文
發(fā)表于 2006 年 11 月
Hbase 是 Google Bigtable 克隆版
9、Hadoop 發(fā)行版(開源版)