Hadoop : Hadoop是Apache基金會旗下的一個分布式系統(tǒng)基礎(chǔ)架構(gòu).主要包括 : 分布式文件系統(tǒng)HDFS,分布式資源管理系統(tǒng)Yarn.可以使得用戶在不了解分布式底層細(xì)節(jié)的情況下,開發(fā)分布式程序,充分利用集群的分布式能力進(jìn)行運算和存儲
Hadoop核心構(gòu)成
分布式文件系統(tǒng)HDFS
? ?Hadoop分布式文件系統(tǒng)(HDFS)能提供對數(shù)據(jù)訪問的高吞吐量,適用于大數(shù)據(jù)場景的數(shù)據(jù)存儲,因為HDFS提供了高可靠性(多副本),高擴展性和高吞吐量的數(shù)據(jù)存儲服務(wù)
資源管理系統(tǒng)Yarn
? ?Hadoop Yarn的基本思想是將資源管理和作業(yè)調(diào)度監(jiān)控功能進(jìn)行分離,是一個統(tǒng)一資源管理系統(tǒng),可為運行在Yarn之上的分布式應(yīng)用程序提供統(tǒng)一的資源管理和調(diào)度
