Hadoop基本結構圖
HDFS:分布式文件系統(tǒng)
MapReduce:分布式并行編程模型
YARN:資源管理和調度器
Tez:運行在YARN之上的下一代Hadoop查詢處理框架
Hive:Hadoop上的數據倉庫
HBase:Hadoop上的非關系型的分布式數據庫
Pig:一個基于Hadoop的大規(guī)模數據分析平臺娩怎,提供類似SQL的查詢語言Pig Latin
Sqoop:用于在Hadoop與傳統(tǒng)數據庫之間進行數據傳遞
Oozie:Hadoop上的工作流管理系統(tǒng)
Zookeeper: 提供分布式協(xié)調一致性服務
Storm:流計算框架
Flume: 一個高可用的,高可靠的胰柑,分布式的海量日志采集截亦、聚合和傳輸的系統(tǒng)
Ambari: Hadoop快速部署工具爬泥,支持Apache Hadoop集群的供應、管理和監(jiān)控
Kafka:一種高吞吐量的分布式發(fā)布訂閱消息系統(tǒng)崩瓤,可以處理消費者規(guī)模的網站中的所有動作流數據
Spark: 類似于Hadoop MapReduce的通用并行框架