hadoop win10環(huán)境搭建之踩坑

搭建方式可參考:
http://www.reibang.com/p/faf038923093

參上以上簡書內(nèi)容搭建即可醉蚁,但是存在如下四個(gè)問題需要補(bǔ)充:

  1. 需要bin目錄替換萧吠,至 https://github.com/steveloughran/winutils下載對(duì)于版本的bin答捕,并添加到hadoop中即可。
  2. nodemanger無法啟動(dòng)
  3. 啟動(dòng)nodemanager存在路徑無法打開的問題
  4. wordcount無法運(yùn)行

解決方案:
針對(duì)2,3,4三個(gè)問題,首先yarn-site.xml的內(nèi)容需要修改為

<?xml version="1.0"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<configuration>

    <!-- Site specific YARN configuration properties -->

    <property>      

        <name>yarn.nodemanager.aux-services</name>      

        <value>mapreduce_shuffle</value>    

    </property>    

    <property>      

        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>              
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>    

    </property>

    <property>

        <!-- NodeManager總的可用虛擬CPU個(gè)數(shù) -->

        <name>yarn.nodemanager.resource.cpu-vcores</name>

        <value>1</value>

    </property>

    <property>

        <!-- 每個(gè)節(jié)點(diǎn)可用的最大內(nèi)存 -->

        <name>yarn.nodemanager.resource.memory-mb</name>

        <value>4096</value>

    </property>

    <property>

        <name>yarn.nodemanager.log-dirs</name>

        <value>/C:/hadoop-3.2.2/logs/yarn</value>

    </property>

</configuration>

  1. hadoop啟動(dòng)時(shí)候需要使用管理員方式打開cmd啟動(dòng)start-all
  2. 每個(gè)節(jié)點(diǎn)的可用最大內(nèi)存需要注意分配的大一些病曾,此處分配為4096,之前分配為2048斤斧,若分配的小了勺美,會(huì)存在map 0 reduce 0 情況
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末递胧,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子赡茸,更是在濱河造成了極大的恐慌缎脾,老刑警劉巖,帶你破解...
    沈念sama閱讀 216,651評(píng)論 6 501
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件占卧,死亡現(xiàn)場(chǎng)離奇詭異遗菠,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)华蜒,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,468評(píng)論 3 392
  • 文/潘曉璐 我一進(jìn)店門辙纬,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人叭喜,你說我怎么就攤上這事贺拣。” “怎么了捂蕴?”我有些...
    開封第一講書人閱讀 162,931評(píng)論 0 353
  • 文/不壞的土叔 我叫張陵纵柿,是天一觀的道長。 經(jīng)常有香客問我启绰,道長昂儒,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,218評(píng)論 1 292
  • 正文 為了忘掉前任委可,我火速辦了婚禮渊跋,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘着倾。我一直安慰自己拾酝,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,234評(píng)論 6 388
  • 文/花漫 我一把揭開白布卡者。 她就那樣靜靜地躺著蒿囤,像睡著了一般。 火紅的嫁衣襯著肌膚如雪崇决。 梳的紋絲不亂的頭發(fā)上材诽,一...
    開封第一講書人閱讀 51,198評(píng)論 1 299
  • 那天,我揣著相機(jī)與錄音恒傻,去河邊找鬼脸侥。 笑死,一個(gè)胖子當(dāng)著我的面吹牛盈厘,可吹牛的內(nèi)容都是我干的睁枕。 我是一名探鬼主播,決...
    沈念sama閱讀 40,084評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼外遇!你這毒婦竟也來了注簿?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 38,926評(píng)論 0 274
  • 序言:老撾萬榮一對(duì)情侶失蹤跳仿,失蹤者是張志新(化名)和其女友劉穎诡渴,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體塔嬉,經(jīng)...
    沈念sama閱讀 45,341評(píng)論 1 311
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,563評(píng)論 2 333
  • 正文 我和宋清朗相戀三年租悄,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了谨究。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 39,731評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡泣棋,死狀恐怖胶哲,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情潭辈,我是刑警寧澤鸯屿,帶...
    沈念sama閱讀 35,430評(píng)論 5 343
  • 正文 年R本政府宣布,位于F島的核電站把敢,受9級(jí)特大地震影響寄摆,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜修赞,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,036評(píng)論 3 326
  • 文/蒙蒙 一婶恼、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧柏副,春花似錦勾邦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,676評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至荔泳,卻和暖如春蕉饼,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背玛歌。 一陣腳步聲響...
    開封第一講書人閱讀 32,829評(píng)論 1 269
  • 我被黑心中介騙來泰國打工椎椰, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人沾鳄。 一個(gè)月前我還...
    沈念sama閱讀 47,743評(píng)論 2 368
  • 正文 我出身青樓慨飘,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子瓤的,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,629評(píng)論 2 354

推薦閱讀更多精彩內(nèi)容