Hadoop學(xué)習(xí)筆記(MR程序的幾種提交運(yùn)行模式)

本地模型運(yùn)行

  1. 在windows的eclipse里面直接運(yùn)行main方法莽囤,就會(huì)將job提交給本地執(zhí)行器localjobrunner執(zhí)行
    ----輸入輸出數(shù)據(jù)可以放在本地路徑下(c:/wc/srcdata/)
    ----輸入輸出數(shù)據(jù)也可以放在hdfs中(hdfs://weekend110:9000/wc/srcdata)
  1. 在linux的eclipse里面直接運(yùn)行main方法吨拗,但是不要添加yarn相關(guān)的配置,也會(huì)提交給localjobrunner執(zhí)行
    ----輸入輸出數(shù)據(jù)可以放在本地路徑下(/home/hadoop/wc/srcdata/)
    ----輸入輸出數(shù)據(jù)也可以放在hdfs中(hdfs://weekend110:9000/wc/srcdata)

集群模式運(yùn)行

  1. 將工程打成jar包,上傳到服務(wù)器蛤售,然后用hadoop命令提交 hadoop jar wc.jar cn.itcast.hadoop.mr.wordcount.WCRunner

  2. 在linux的eclipse中直接運(yùn)行main方法烘豹,也可以提交到集群中去運(yùn)行,但是胆敞,必須采取以下措施:
    ----在工程src目錄下加入 mapred-site.xml 和 yarn-site.xml
    ----將工程打成jar包(wc.jar)着帽,同時(shí)在main方法中添加一個(gè)conf的配置參數(shù) conf.set("mapreduce.job.jar","wc.jar");

  3. 在windows的eclipse中直接運(yùn)行main方法,也可以提交給集群中運(yùn)行移层,但是因?yàn)槠脚_(tái)不兼容启摄,需要做很多的設(shè)置修改
    ----要在windows中存放一份hadoop的安裝包(解壓好的)
    ----要將其中的lib和bin目錄替換成根據(jù)你的windows版本重新編譯出的文件
    ----再要配置系統(tǒng)環(huán)境變量 HADOOP_HOME 和 PATH
    ----修改YarnRunner這個(gè)類的源碼

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市幽钢,隨后出現(xiàn)的幾起案子歉备,更是在濱河造成了極大的恐慌轧房,老刑警劉巖齐苛,帶你破解...
    沈念sama閱讀 222,807評(píng)論 6 518
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件属划,死亡現(xiàn)場(chǎng)離奇詭異饺著,居然都是意外死亡轰豆,警方通過查閱死者的電腦和手機(jī)我注,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,284評(píng)論 3 399
  • 文/潘曉璐 我一進(jìn)店門呀洲,熙熙樓的掌柜王于貴愁眉苦臉地迎上來审胸,“玉大人尼变,你說我怎么就攤上這事利凑〗ⅲ” “怎么了?”我有些...
    開封第一講書人閱讀 169,589評(píng)論 0 363
  • 文/不壞的土叔 我叫張陵哀澈,是天一觀的道長(zhǎng)牌借。 經(jīng)常有香客問我,道長(zhǎng)割按,這世上最難降的妖魔是什么膨报? 我笑而不...
    開封第一講書人閱讀 60,188評(píng)論 1 300
  • 正文 為了忘掉前任,我火速辦了婚禮适荣,結(jié)果婚禮上现柠,老公的妹妹穿的比我還像新娘。我一直安慰自己弛矛,他們只是感情好够吩,可當(dāng)我...
    茶點(diǎn)故事閱讀 69,185評(píng)論 6 398
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著丈氓,像睡著了一般周循。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上扒寄,一...
    開封第一講書人閱讀 52,785評(píng)論 1 314
  • 那天鱼鼓,我揣著相機(jī)與錄音,去河邊找鬼该编。 笑死迄本,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的课竣。 我是一名探鬼主播嘉赎,決...
    沈念sama閱讀 41,220評(píng)論 3 423
  • 文/蒼蘭香墨 我猛地睜開眼,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼于樟!你這毒婦竟也來了公条?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 40,167評(píng)論 0 277
  • 序言:老撾萬榮一對(duì)情侶失蹤迂曲,失蹤者是張志新(化名)和其女友劉穎靶橱,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體路捧,經(jīng)...
    沈念sama閱讀 46,698評(píng)論 1 320
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡关霸,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,767評(píng)論 3 343
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了杰扫。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片队寇。...
    茶點(diǎn)故事閱讀 40,912評(píng)論 1 353
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖章姓,靈堂內(nèi)的尸體忽然破棺而出佳遣,到底是詐尸還是另有隱情识埋,我是刑警寧澤,帶...
    沈念sama閱讀 36,572評(píng)論 5 351
  • 正文 年R本政府宣布零渐,位于F島的核電站窒舟,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏相恃。R本人自食惡果不足惜辜纲,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 42,254評(píng)論 3 336
  • 文/蒙蒙 一笨觅、第九天 我趴在偏房一處隱蔽的房頂上張望拦耐。 院中可真熱鬧,春花似錦见剩、人聲如沸杀糯。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,746評(píng)論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)固翰。三九已至,卻和暖如春羹呵,著一層夾襖步出監(jiān)牢的瞬間骂际,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,859評(píng)論 1 274
  • 我被黑心中介騙來泰國(guó)打工冈欢, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留歉铝,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 49,359評(píng)論 3 379
  • 正文 我出身青樓凑耻,卻偏偏與公主長(zhǎng)得像太示,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子香浩,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,922評(píng)論 2 361

推薦閱讀更多精彩內(nèi)容

  • 首先类缤,我們?cè)谑褂们跋瓤纯碒DFS是什麼?這將有助于我們是以后的運(yùn)維使用和故障排除思路的獲得邻吭。 HDFS采用mast...
    W_Bousquet閱讀 4,207評(píng)論 0 2
  • Spring Cloud為開發(fā)人員提供了快速構(gòu)建分布式系統(tǒng)中一些常見模式的工具(例如配置管理餐弱,服務(wù)發(fā)現(xiàn),斷路器囱晴,智...
    卡卡羅2017閱讀 134,716評(píng)論 18 139
  • hadoop是什么膏蚓?HDFS與MapReduceHive:數(shù)據(jù)倉(cāng)庫(kù),在HDFS之上速缆,后臺(tái)執(zhí)行降允,幫你執(zhí)行。faceb...
    Babus閱讀 2,385評(píng)論 0 5
  • Hadoop的編程可以是在Linux環(huán)境或Winows環(huán)境中艺糜,在此以Windows環(huán)境為示例剧董,以Eclipse工具...
    歡醉閱讀 1,439評(píng)論 0 28
  • 春天幢尚,藏在衣柜的衣服都該該拿出來了 簡(jiǎn)單的白T+緊身牛仔褲,時(shí)髦又大氣翅楼。 春季氣溫不穩(wěn)定尉剩,備一款呢料的外套搭配褲裝...
    鎖定過臺(tái)風(fēng)閱讀 256評(píng)論 0 1