HDFS簡介? ? ? ? ? ? ? ??
HDFS是Hadoop分布式文件系統(tǒng)荣瑟,是Apache Hadoop Core項(xiàng)目的一部分摩泪。設(shè)計(jì)用于在廉價(jià)的硬件上遠(yuǎn)行,具有高度容錯(cuò)见坑,高吞吐量適用于大數(shù)據(jù)集的應(yīng)用程序嚷掠。HDFS放寬了一些POSIX的要求荞驴,以實(shí)現(xiàn)對文件系統(tǒng)的流式訪問。
HDFS的核心架構(gòu)的目標(biāo)?
? ???硬件故障是無法避免的戴尸。HDFS實(shí)例可能由數(shù)百或前臺服務(wù)器組成粟焊。每臺服務(wù)器存儲文件系統(tǒng)數(shù)據(jù)的一部分,有大量的組件,而且每個(gè)組件都有一定的故障率项棠。因此悲雳,故障檢測和快速,自動恢復(fù)是HDFS的核心架構(gòu)的目標(biāo)?。
簡單一致性? ? ? ? ? ? ?? ??? ? ?
HDFS是一次寫多次讀的訪問模型香追。對文件的操作有創(chuàng)建,寫入和關(guān)閉合瓢。不能在任意點(diǎn)更新文件但支持將內(nèi)容追加到文件的末尾⊥傅洌可以追加和截?cái)辔募缧ā_@簡化了數(shù)據(jù)一致性問題并且支持高吞吐量的數(shù)據(jù)訪問。MapReduce應(yīng)用程序或Web爬蟲非常適合這個(gè)模式?峭咒。
移動計(jì)算? ? ? ? ? ? ? ? ? ? ? ? ????