hadoop學(xué)習(xí)筆記(二):偽分布式安裝及數(shù)據(jù)測(cè)試

提前準(zhǔn)備:

1肚逸、配置網(wǎng)絡(luò)(包括主機(jī)名认境、虛擬機(jī)名)。修改的文件有/etc/hosts 课竣、/etc/sysconfig/network-scripts/ifcg-eth0

2嘉赎、設(shè)置SSH免密碼登陸。

虛擬機(jī)上執(zhí)行 :# ssh? 主機(jī)ip

輸入主機(jī)密碼

# ssh-keygen -t rsa ? /*生成密鑰*/

# ssh-copy-id? 主機(jī)ip

ssh 主機(jī)ip????? /*測(cè)試虛擬機(jī)免密碼登陸主機(jī)*/

3于樟、主機(jī)安裝jdk(先下載所需要的jdk)

(1)先檢查是否安裝jdk

rpm -qa|grep jdk

(2) ? 查看jdk版本

java -version

(3)刪除所有安裝的jdk

yum -y remove jdk {jdk-openss..}

(4)解壓公条,安裝

tar -zxvf {jdk.1.7.0...*.tar.gz} -C 安裝路徑

(5)修改配置文件。/etc/profile

最后加入

(5)查看是否安裝成功

java -version

4迂曲、創(chuàng)建存放所需軟件的文件夾靶橱,如opt下創(chuàng)建softwares、data

mkdir /opt/sosftwares

mkdir /opt/data

偽分布式安裝hadoop:

requirements:-------->所有都在hadoop-1.7.1-src-->BUILDING.txt文件里

(1) 點(diǎn)擊這里下載hadoop版本/**下載到/opt/softwares目錄,我選擇hadoop-2.7.1版本关霸;另外传黄,一般官網(wǎng)提供已經(jīng)編譯好的hadoop(適合32位系統(tǒng)的),而我要的是64位的队寇,所以下載源碼自己編譯安裝**/

(2)除此以外還需要以下依賴膘掰,用yum 安裝這些依賴:

yum install autoconf automake libtool cmake ncurses-devel lzo-devel zlib-devel openssl-devel

(3)下載這些必備軟件:

下面正式安裝****

1、解壓各種 #? tar -zxvf hadoop-2.7.1-src.tar.gz -C /opt/softwares

# tar -zxvf findbugs-1.3.9.tar.gz -C /opt/softwares

#? tar -zxvf apache-maven-3.0.5-bin.tar.gz -C /opt/softwares

# tar -zxvf protobuf-2.5.0.tar.gz -C /opt/softwares

2佳遣、安裝maven识埋,findbugs

#cd? /opt/softwares/apache-maven-3.0.5

查看maven安裝路徑:# pwd

修改環(huán)境變量:#vim /etc/profile

export? MAVEN_HOME=/opt/softwares/apache-maven-3.0.5

export PATH=$MAVEN_HOME/bin

使配置生效:source /etc/profile

查看是否安裝成功: mvn -v

同理,安裝findbugs....(查看findbugs安裝成功苍日? findbugs -version)

/etc/profile環(huán)境配置

3、安裝protobuf

# cd protobuf-2.5.0

# ./configure

# make install

4窗声、編譯hadoop-src源碼

#cd hadoop-2.7.1-src

編譯#? mvn package -Pdist,native -DskipTests -Dtar

5相恃、安裝hadoop,配置文件修改環(huán)境變量 笨觅。

#cd hadoop-2.7.1

# vim /etc/hadoop/hadoop-env.sh?? 拦耐,打開(kāi)加入 export JAVA_HOME=/usr/java/latest,如下:

啟動(dòng)hadoop?? #? bin/hadoop

6、修改etc/hadoop/core-site.xml文件

# vim etc/hadoop/core-site.xml

hadoop1.x版本端口號(hào)9000;2.x版本也可以是8020

其中见剩,/data/tmp目錄是自己創(chuàng)建的杀糯,需要手動(dòng)創(chuàng)建:mkdir data;? mkdir tmp

7、修改etc/hadoop/hdfs-site.xml文件

注意:因?yàn)槭莻畏植际桨惭b苍苞,所以副本數(shù)為1固翰,如果集群安裝,副本就有3份8恰骂际!

接下來(lái),如果想本地執(zhí)行MapReduce冈欢,則按照8---10步驟歉铝;

如果想在YARN(主要資源調(diào)度)上執(zhí)行MapReduce,則按照8(1)-----10(1)步驟凑耻;

8太示、格式化hdfs

# cd hadoop-2.7.1

# bin/hadoop??? /***查看hdfs幫助文檔,學(xué)習(xí)hadoop命令操作**/

格式化 #bin/hdfs namenode -format

9香浩、啟動(dòng)HDFS,即有NameNode和DataNode

#? ?? sbin/start-dfs.sh

10类缤、查看進(jìn)程是否啟動(dòng)成功

#? jps? /******/

8(1)、配置文件 etc/hadoop/mapred-site.xml

# cd? hadoop-2.7.1

#? vim etc/hadoop/mapred-site.xml

9(1)邻吭、配置文件etc/hadoop/yarn-site.xml

10(1)呀非、# sbin/start-yarn.sh

查看資源管理監(jiān)控? http://localhost:8088/????? /**同樣,localhost替換成主機(jī)名***/

11、通過(guò)日志監(jiān)控界面查看信息

http://localhost:50070/??????????????? /***localhost是默認(rèn)值岸裙,可以設(shè)置為自己的主機(jī)名***/

安裝至此完成2堋!

wordcount數(shù)據(jù)測(cè)試:

1降允、# cd? /opt/data

# touch words

# vim words

words為input文件

2恩闻、將文件上傳到hdfs中

#? bin/hadoop fs -help

#? bin/hadoop fs -put /opt/data/words /words

已上傳成功

3、wordcount?? (首先對(duì)數(shù)據(jù)進(jìn)行分片處理剧董,然后生成Job)

# bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /words /out

4幢尚、查看輸出結(jié)果

# bin/hadoop fs -ls /

# bin/hadoop fs -ls /out

# bin/hadoop fs -cat /out/part-r-00000

very nice!!終于可以了.....好想哭!翅楼!剛剛簡(jiǎn)書把我保存的筆記鏈接訪問(wèn)不到了尉剩,嚇?biāo)缹殞毩耍。?/p>

附上官方Apache Hadoop2.7.1安裝手冊(cè)

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末毅臊,一起剝皮案震驚了整個(gè)濱河市理茎,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌管嬉,老刑警劉巖皂林,帶你破解...
    沈念sama閱讀 222,729評(píng)論 6 517
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異蚯撩,居然都是意外死亡础倍,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,226評(píng)論 3 399
  • 文/潘曉璐 我一進(jìn)店門胎挎,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)沟启,“玉大人,你說(shuō)我怎么就攤上這事犹菇∶榔郑” “怎么了?”我有些...
    開(kāi)封第一講書人閱讀 169,461評(píng)論 0 362
  • 文/不壞的土叔 我叫張陵项栏,是天一觀的道長(zhǎng)浦辨。 經(jīng)常有香客問(wèn)我,道長(zhǎng)沼沈,這世上最難降的妖魔是什么流酬? 我笑而不...
    開(kāi)封第一講書人閱讀 60,135評(píng)論 1 300
  • 正文 為了忘掉前任,我火速辦了婚禮列另,結(jié)果婚禮上芽腾,老公的妹妹穿的比我還像新娘。我一直安慰自己页衙,他們只是感情好摊滔,可當(dāng)我...
    茶點(diǎn)故事閱讀 69,130評(píng)論 6 398
  • 文/花漫 我一把揭開(kāi)白布阴绢。 她就那樣靜靜地躺著,像睡著了一般艰躺。 火紅的嫁衣襯著肌膚如雪呻袭。 梳的紋絲不亂的頭發(fā)上,一...
    開(kāi)封第一講書人閱讀 52,736評(píng)論 1 312
  • 那天腺兴,我揣著相機(jī)與錄音左电,去河邊找鬼。 笑死页响,一個(gè)胖子當(dāng)著我的面吹牛篓足,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播闰蚕,決...
    沈念sama閱讀 41,179評(píng)論 3 422
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼栈拖,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了没陡?” 一聲冷哼從身側(cè)響起涩哟,我...
    開(kāi)封第一講書人閱讀 40,124評(píng)論 0 277
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎诗鸭,沒(méi)想到半個(gè)月后染簇,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體参滴,經(jīng)...
    沈念sama閱讀 46,657評(píng)論 1 320
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡强岸,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,723評(píng)論 3 342
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了砾赔。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片蝌箍。...
    茶點(diǎn)故事閱讀 40,872評(píng)論 1 353
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖暴心,靈堂內(nèi)的尸體忽然破棺而出妓盲,到底是詐尸還是另有隱情,我是刑警寧澤专普,帶...
    沈念sama閱讀 36,533評(píng)論 5 351
  • 正文 年R本政府宣布悯衬,位于F島的核電站,受9級(jí)特大地震影響檀夹,放射性物質(zhì)發(fā)生泄漏筋粗。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 42,213評(píng)論 3 336
  • 文/蒙蒙 一炸渡、第九天 我趴在偏房一處隱蔽的房頂上張望娜亿。 院中可真熱鬧,春花似錦蚌堵、人聲如沸买决。這莊子的主人今日做“春日...
    開(kāi)封第一講書人閱讀 32,700評(píng)論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)督赤。三九已至嘁灯,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間够挂,已是汗流浹背旁仿。 一陣腳步聲響...
    開(kāi)封第一講書人閱讀 33,819評(píng)論 1 274
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留孽糖,地道東北人枯冈。 一個(gè)月前我還...
    沈念sama閱讀 49,304評(píng)論 3 379
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像办悟,于是被迫代替她去往敵國(guó)和親尘奏。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,876評(píng)論 2 361

推薦閱讀更多精彩內(nèi)容