程序:wordcount
數(shù)據(jù):1G文本文件---input.txt
節(jié)點(diǎn):master 1個(gè)寨昙,slave 5個(gè)
1.開啟hadoop
start-all.sh
1.png
2.查看進(jìn)程
jps
2.png
3.hdfs創(chuàng)建文件夾
hadoop fs -mkdir /input
4.上傳文件至hdfs
hadoop fs -put /opt/hadoop/input.txt /input
5.運(yùn)行hdfs文件
hadoop jar /opt/hadoop/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.0.jar wordcount /input /output
運(yùn)行結(jié)束鳖宾,打開192.168.190.109:9870
5.png
打開192.168.190.109:8088
55.png
6.開啟JobHistory
在hadoop的sbin目錄下
./mr-jobhistory-daemon.sh start historysever
//關(guān)閉JobHistory
//mr-jobhistory-daemon.sh stop historysever
jps查看進(jìn)程,出現(xiàn)JobHistory就證明成功了
6.png
查看子節(jié)點(diǎn)的情況
hadoop job -list-active-trackers
6.png
7.追鐘任務(wù)執(zhí)行情況
打開192.168.190.109:8088
查看每個(gè)block分到哪三個(gè)節(jié)點(diǎn)上
7.png
打開192.168.190.109:19888查看任務(wù)分配情況
能查看程序運(yùn)行的開始時(shí)間厉颤,結(jié)束時(shí)間和運(yùn)行時(shí)間
點(diǎn)擊Job ID
7(1).png
點(diǎn)擊Map和Reduce,可以看到任務(wù)分配情況
7(2).png
map分了9個(gè)block凡简,reduce分了1個(gè)block(1個(gè)block128MB)
點(diǎn)擊每一個(gè)block逼友,可以看到block的執(zhí)行情況(3個(gè)節(jié)點(diǎn)中具體哪個(gè)節(jié)點(diǎn)執(zhí)行)
7(3).png
查看block由哪個(gè)節(jié)點(diǎn)執(zhí)行,運(yùn)行時(shí)間等信息
7(4).png