06. MapReduce 運行環(huán)境

System.setProperty("HADOOP_USER_NAME", "root");

MR執(zhí)行環(huán)境有兩種:本地測試環(huán)境,服務(wù)器環(huán)境

本地測試環(huán)境(windows):

在windows的hadoop目錄bin目錄有一個winutils.exe

1匣砖、在windows下配置hadoop的環(huán)境變量

2瓣距、拷貝debug工具(winutils.ext)到HADOOP_HOME/bin

3聚磺、修改hadoop的源碼 鹃栽,注意:確保項目的lib需要真實安裝的jdk的lib

4穿扳、MR調(diào)用的代碼需要改變:

a谱姓、src不能有服務(wù)器的hadoop配置文件

b借尿、在調(diào)用是使用:

Configuration config = new ?Configuration();

config.set("fs.defaultFS", "hdfs://node1:8020");? ? ?//nameNode節(jié)點

config.set("yarn.resourcemanager.hostname", "node1");? ? ?//resourceManager節(jié)點

服務(wù)器環(huán)境:

首先需要在src下放置服務(wù)器上的hadoop配置文件

1、在本地直接調(diào)用屉来,執(zhí)行過程在服務(wù)器上(真正企業(yè)運行環(huán)境)

a路翻、把MR程序打包(jar),直接放到本地

b茄靠、修改hadoop的源碼 茂契,注意:確保項目的lib需要真實安裝的jdk的lib

c、增加一個屬性:

config.set("mapred.jar", "E:\\ROOT\\ROOT.jar");

d慨绳、本地執(zhí)行main方法掉冶,servlet調(diào)用MR真竖。

2、直接在服務(wù)器上厌小,使用命令的方式調(diào)用恢共,執(zhí)行過程也在服務(wù)器上

a、把MR程序打包(jar)璧亚,傳送到服務(wù)器上

b讨韭、通過: hadoop jar jar路徑 ?類的全限定名

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市癣蟋,隨后出現(xiàn)的幾起案子透硝,更是在濱河造成了極大的恐慌,老刑警劉巖梢薪,帶你破解...
    沈念sama閱讀 212,080評論 6 493
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件蹬铺,死亡現(xiàn)場離奇詭異,居然都是意外死亡秉撇,警方通過查閱死者的電腦和手機甜攀,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,422評論 3 385
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來琐馆,“玉大人规阀,你說我怎么就攤上這事∈蒴铮” “怎么了谁撼?”我有些...
    開封第一講書人閱讀 157,630評論 0 348
  • 文/不壞的土叔 我叫張陵,是天一觀的道長滋饲。 經(jīng)常有香客問我厉碟,道長,這世上最難降的妖魔是什么屠缭? 我笑而不...
    開封第一講書人閱讀 56,554評論 1 284
  • 正文 為了忘掉前任箍鼓,我火速辦了婚禮,結(jié)果婚禮上呵曹,老公的妹妹穿的比我還像新娘款咖。我一直安慰自己,他們只是感情好奄喂,可當(dāng)我...
    茶點故事閱讀 65,662評論 6 386
  • 文/花漫 我一把揭開白布铐殃。 她就那樣靜靜地躺著,像睡著了一般跨新。 火紅的嫁衣襯著肌膚如雪富腊。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,856評論 1 290
  • 那天玻蝌,我揣著相機與錄音蟹肘,去河邊找鬼词疼。 笑死,一個胖子當(dāng)著我的面吹牛帘腹,可吹牛的內(nèi)容都是我干的贰盗。 我是一名探鬼主播,決...
    沈念sama閱讀 39,014評論 3 408
  • 文/蒼蘭香墨 我猛地睜開眼阳欲,長吁一口氣:“原來是場噩夢啊……” “哼舵盈!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起球化,我...
    開封第一講書人閱讀 37,752評論 0 268
  • 序言:老撾萬榮一對情侶失蹤秽晚,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后筒愚,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體赴蝇,經(jīng)...
    沈念sama閱讀 44,212評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,541評論 2 327
  • 正文 我和宋清朗相戀三年巢掺,在試婚紗的時候發(fā)現(xiàn)自己被綠了句伶。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 38,687評論 1 341
  • 序言:一個原本活蹦亂跳的男人離奇死亡陆淀,死狀恐怖考余,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情轧苫,我是刑警寧澤楚堤,帶...
    沈念sama閱讀 34,347評論 4 331
  • 正文 年R本政府宣布,位于F島的核電站含懊,受9級特大地震影響身冬,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜岔乔,卻給世界環(huán)境...
    茶點故事閱讀 39,973評論 3 315
  • 文/蒙蒙 一吏恭、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧重罪,春花似錦、人聲如沸哀九。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,777評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽阅束。三九已至呼胚,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間息裸,已是汗流浹背蝇更。 一陣腳步聲響...
    開封第一講書人閱讀 32,006評論 1 266
  • 我被黑心中介騙來泰國打工沪编, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人年扩。 一個月前我還...
    沈念sama閱讀 46,406評論 2 360
  • 正文 我出身青樓蚁廓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親厨幻。 傳聞我的和親對象是個殘疾皇子相嵌,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 43,576評論 2 349

推薦閱讀更多精彩內(nèi)容

  • 說明:不少讀者反饋,想使用開源組件搭建Hadoop平臺况脆,然后再部署Kylin饭宾,但是遇到各種問題。這里我為讀者部署一...
    大詩兄_zl閱讀 2,056評論 0 2
  • 一格了、系統(tǒng)參數(shù)配置優(yōu)化 1看铆、系統(tǒng)內(nèi)核參數(shù)優(yōu)化配置 修改文件/etc/sysctl.conf,添加如下配置盛末,然后執(zhí)行s...
    張偉科閱讀 3,725評論 0 14
  • 簡介 HBase是高可靠性弹惦,高性能,面向列满败,可伸縮的分布式存儲系統(tǒng)肤频,利用HBase技術(shù)可在廉價PC Serve...
    九世的貓閱讀 2,179評論 1 6
  • 上節(jié)課我們一起學(xué)習(xí)了MapReduce大的框架及原理,單看理論的話很容易懵圈算墨,這節(jié)我們便一起學(xué)習(xí)一個MapRedu...
    文子軒閱讀 1,537評論 0 2
  • 經(jīng)過一系列的前期環(huán)境準備宵荒,現(xiàn)在可以開始Hadoop的安裝了,在這里去apache官網(wǎng)下載2.7.3的版本http:...
    歡醉閱讀 1,657評論 8 28