hadoop程序執(zhí)行與追蹤

程序:wordcount
數(shù)據(jù):1G文本文件---input.txt
節(jié)點(diǎn):master 1個(gè)寨昙,slave 5個(gè)

1.開啟hadoop
start-all.sh
1.png
2.查看進(jìn)程
jps
2.png
3.hdfs創(chuàng)建文件夾
hadoop fs -mkdir /input
4.上傳文件至hdfs
hadoop fs -put /opt/hadoop/input.txt /input
5.運(yùn)行hdfs文件
hadoop jar /opt/hadoop/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.0.jar wordcount /input /output

運(yùn)行結(jié)束鳖宾,打開192.168.190.109:9870


5.png

打開192.168.190.109:8088


55.png
6.開啟JobHistory
在hadoop的sbin目錄下
./mr-jobhistory-daemon.sh start historysever
//關(guān)閉JobHistory
//mr-jobhistory-daemon.sh stop historysever

jps查看進(jìn)程,出現(xiàn)JobHistory就證明成功了


6.png

查看子節(jié)點(diǎn)的情況

hadoop job -list-active-trackers
6.png
7.追鐘任務(wù)執(zhí)行情況
打開192.168.190.109:8088

查看每個(gè)block分到哪三個(gè)節(jié)點(diǎn)上


7.png
打開192.168.190.109:19888查看任務(wù)分配情況

能查看程序運(yùn)行的開始時(shí)間厉颤,結(jié)束時(shí)間和運(yùn)行時(shí)間
點(diǎn)擊Job ID


7(1).png

點(diǎn)擊Map和Reduce,可以看到任務(wù)分配情況


7(2).png

map分了9個(gè)block凡简,reduce分了1個(gè)block(1個(gè)block128MB)
點(diǎn)擊每一個(gè)block逼友,可以看到block的執(zhí)行情況(3個(gè)節(jié)點(diǎn)中具體哪個(gè)節(jié)點(diǎn)執(zhí)行)
7(3).png

查看block由哪個(gè)節(jié)點(diǎn)執(zhí)行,運(yùn)行時(shí)間等信息


7(4).png
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末潘鲫,一起剝皮案震驚了整個(gè)濱河市翁逞,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌溉仑,老刑警劉巖挖函,帶你破解...
    沈念sama閱讀 218,386評(píng)論 6 506
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異浊竟,居然都是意外死亡怨喘,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,142評(píng)論 3 394
  • 文/潘曉璐 我一進(jìn)店門振定,熙熙樓的掌柜王于貴愁眉苦臉地迎上來必怜,“玉大人,你說我怎么就攤上這事后频∈崆欤” “怎么了?”我有些...
    開封第一講書人閱讀 164,704評(píng)論 0 353
  • 文/不壞的土叔 我叫張陵卑惜,是天一觀的道長膏执。 經(jīng)常有香客問我,道長露久,這世上最難降的妖魔是什么更米? 我笑而不...
    開封第一講書人閱讀 58,702評(píng)論 1 294
  • 正文 為了忘掉前任,我火速辦了婚禮毫痕,結(jié)果婚禮上征峦,老公的妹妹穿的比我還像新娘迟几。我一直安慰自己,他們只是感情好栏笆,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,716評(píng)論 6 392
  • 文/花漫 我一把揭開白布类腮。 她就那樣靜靜地躺著,像睡著了一般竖伯。 火紅的嫁衣襯著肌膚如雪存哲。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,573評(píng)論 1 305
  • 那天七婴,我揣著相機(jī)與錄音祟偷,去河邊找鬼。 笑死打厘,一個(gè)胖子當(dāng)著我的面吹牛修肠,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播户盯,決...
    沈念sama閱讀 40,314評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼嵌施,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了莽鸭?” 一聲冷哼從身側(cè)響起吗伤,我...
    開封第一講書人閱讀 39,230評(píng)論 0 276
  • 序言:老撾萬榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎硫眨,沒想到半個(gè)月后足淆,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,680評(píng)論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡礁阁,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,873評(píng)論 3 336
  • 正文 我和宋清朗相戀三年巧号,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片姥闭。...
    茶點(diǎn)故事閱讀 39,991評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡丹鸿,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出棚品,到底是詐尸還是另有隱情靠欢,我是刑警寧澤,帶...
    沈念sama閱讀 35,706評(píng)論 5 346
  • 正文 年R本政府宣布铜跑,位于F島的核電站门怪,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏疼进。R本人自食惡果不足惜薪缆,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,329評(píng)論 3 330
  • 文/蒙蒙 一秧廉、第九天 我趴在偏房一處隱蔽的房頂上張望伞广。 院中可真熱鬧拣帽,春花似錦、人聲如沸嚼锄。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,910評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽区丑。三九已至拧粪,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間沧侥,已是汗流浹背可霎。 一陣腳步聲響...
    開封第一講書人閱讀 33,038評(píng)論 1 270
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留宴杀,地道東北人癣朗。 一個(gè)月前我還...
    沈念sama閱讀 48,158評(píng)論 3 370
  • 正文 我出身青樓,卻偏偏與公主長得像旺罢,于是被迫代替她去往敵國和親旷余。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,941評(píng)論 2 355