1.Hadoop是什么松却？
Apache Hadoop 是一個(gè)通過計(jì)算機(jī)集群池充，分布式計(jì)算處理大數(shù)據(jù)的框架躯保。
集群可以從一臺(tái)機(jī)器擴(kuò)展到上千個(gè)，而每臺(tái)機(jī)器只需要提供本地的存儲(chǔ)和計(jì)算服務(wù)贩猎。Hadoop本身不是依靠硬件來提供高可用性熊户，它的每個(gè)計(jì)算機(jī)都可能出現(xiàn)故障，但在應(yīng)用層檢測(cè)和處理掉這些故障吭服，從而在計(jì)算機(jī)群集的頂部提供高可用性服務(wù)嚷堡。
2.Hadoop組成模塊
- Hadoop Common:支持Hadoop自身其他模塊的一些公共工具。
- Hadoop Distributed File System (HDFS)：一個(gè)提供大量訪問應(yīng)用層數(shù)據(jù)的分布式文件系統(tǒng)艇棕。
- Hadoop YARN：提供Job調(diào)度和集群資源管理的框架蝌戒。
- Hadoop MapReduce：并行計(jì)算大量數(shù)據(jù)的系統(tǒng)，基于YARN沼琉。
3.Hadoop相關(guān)的Apache旗下的其他項(xiàng)目
- Ambari:一種基于Web的工具北苟，用于提供、管理和監(jiān)視Hadoop集群刺桃，其中包括對(duì)HDFS粹淋、MapReduce吸祟、Hive瑟慈、HCatalog桃移、HBase、ZooAdministrator葛碧、Oozie借杰、Pig和Sqoop的支持。Ambari還提供了查看集群健康狀況的儀表板进泼，例如熱圖蔗衡，以及查看MapReduce、Pig和Hive應(yīng)用程序的能力陷谱。
- Avro:一個(gè)數(shù)據(jù)序列化系統(tǒng)饲做。
-
Cassandra:一個(gè)可擴(kuò)展的
多主節(jié)點(diǎn)數(shù)據(jù)庫基协，它不存在單點(diǎn)故障問題。 - Chukwa:一個(gè)用于管理大型分布式系統(tǒng)的济蝉，數(shù)據(jù)收集系統(tǒng)。
- HBase:一個(gè)可擴(kuò)展的菠发，分布式的數(shù)據(jù)庫王滤，它支持結(jié)構(gòu)化數(shù)據(jù)的大表。
- Hive:一個(gè)提供數(shù)據(jù)摘要查詢和數(shù)據(jù)臨時(shí)查詢的數(shù)據(jù)倉庫基礎(chǔ)結(jié)構(gòu)滓鸠。
- Mahout:一個(gè)可擴(kuò)展的機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘庫雁乡。
- Pig:一個(gè)支持并行計(jì)算的高級(jí)數(shù)據(jù)流語言和執(zhí)行框架。
- Spark:一個(gè)Hadoop數(shù)據(jù)的快速通用計(jì)算引擎糜俗。Spark提供了一個(gè)簡單易懂的編程模型踱稍，它適用于很多場(chǎng)景，包括ETL悠抹、機(jī)器學(xué)習(xí)寞射、流處理和圖形計(jì)算。
- Tez:一個(gè)基于Hadoop YARN的通用數(shù)據(jù)流編程框架锌钮。它提供了一個(gè)強(qiáng)大而靈活的引擎來執(zhí)行任意的DAG任務(wù)桥温，處理批處理和交互式用例的數(shù)據(jù)。Hive梁丘，Pig以及Hadoop的生態(tài)系統(tǒng)其他框架都引用到Tez侵浸，一些其他的商業(yè)軟件（如ETL工具），用Tez來取代MapReduce作為底層的執(zhí)行引擎氛谜。
- ZooKeeper:為分布式應(yīng)用提供高性能的協(xié)調(diào)服務(wù)掏觉。
4.結(jié)尾
Hadoop現(xiàn)在已經(jīng)得到廣泛的使用，不管是實(shí)際需求值漫，還是它的設(shè)計(jì)思想澳腹，都是我們必須要了解學(xué)習(xí)的。
