虛擬機(jī)安裝 虛擬機(jī)及系統(tǒng)安裝不細(xì)說巧号,主要針對筆者遇到的一些困難進(jìn)行記錄 克隆虛擬機(jī)的問題 克隆虛擬機(jī)后必盖,出現(xiàn)改了IP吹散,重啟網(wǎng)絡(luò)還是連接不上的情況...
搭好了Hadoop環(huán)境其爵,編寫了個簡單的WordCount程序强胰,接下來迅箩,寫幾個MapReduce程序,看看MapReduce編程究竟怎么個用法 案...
Shuffle MapReduce執(zhí)行過程中,有一個很關(guān)鍵的過程--shuffle shuffle過程即為在map結(jié)束屋摇,對數(shù)據(jù)進(jìn)行處理揩魂、排序、分...
YARN YARN是Hadoop的一個資源調(diào)度框架炮温,下面簡單介紹下它的運(yùn)行流程 以上是YARN的一個流程圖火脉,簡單介紹 Client提交任務(wù)執(zhí)行請...
開始正式搭建Hadoop環(huán)境,之所以分開寫柒啤,也是便于閱讀及以后參考倦挂。 Hadoop環(huán)境的搭建過程中,需要配置幾個XML文件担巩,接下來簡單介紹下這幾...
開始學(xué)習(xí)Hadoop了方援,其中很重要的一塊就是它的存儲系統(tǒng)-HDFS,先學(xué)學(xué)HDFS HDFS概述 HDFS源于Google發(fā)表于2003年10月...
之前簡單介紹了Zookeeper兵睛,接下來搭建一個Zookeeper的集群環(huán)境 本集群使用三個節(jié)點(diǎn)肯骇,網(wǎng)絡(luò)環(huán)境及jdk安裝不再贅述,直接從環(huán)境搭建開...
Zookeeper是為了解決大型分布式系統(tǒng)的一系列問題而開發(fā)的一套協(xié)調(diào)服務(wù)祖很,它將復(fù)雜且容易出錯的分布一致性服務(wù)封裝起來,構(gòu)成了一個高效可靠的原語...
斷斷續(xù)續(xù)的學(xué)了半年的大數(shù)據(jù)漾脂,只是會搭假颇,會用,可一回頭骨稿,感覺又啥都不會笨鸡,從頭記錄一下 大數(shù)據(jù)是當(dāng)前很火的一個技術(shù)方向姜钳,說白了,其實(shí)就是一系列工具的...