windows本機搭建Hadoop環(huán)境

記錄一下整個過程:

一盈蛮、下載Hadoop安裝包

  • 官網(wǎng)下載Hadoop 2.6,并配置相關(guān)環(huán)境變量撕氧,自行百度
  • 下載hadooponwindows-master.zip腐宋,能支持Hadoop能在Windows運行的工具无蜂,解壓并覆蓋Hadoop安裝目錄下bin和etc目錄

二伺糠、修改相關(guān)配置文件

etc/hadoop目錄下

  • core-site.xml
<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>
  • hdfs-site.xml
<configuration>
    <!-- 這個參數(shù)設(shè)置為1,因為是單機版hadoop -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>    
        <name>dfs.namenode.name.dir</name>    
        <value>/D:/java/hadoop-2.6.0/hadoop-2.6.0/namenode</value>    
    </property>    
    <property>    
        <name>dfs.datanode.data.dir</name>    
        <value>/D:/java/hadoop-2.6.0/hadoop-2.6.0/datanode</value>  
    </property>
</configuration>
  • mapred-site.xml
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>
  • yarn-site.xml
<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>
  • hadoop-env.cmd
    找到JAVA_HOME那一行
@rem set JAVA_HOME=%JAVA_HOME%
set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_151

三斥季、啟動Hadoop

  • 格式化hdfs
    在Hadoop home目錄創(chuàng)建namenode,datanode,tmp三個目錄训桶,打開cmd窗口執(zhí)行hadoop namenode -format
    出現(xiàn)如下窗口表示成功


    image.png
  • 啟動Hadoop
    進到sbin目錄執(zhí)行start-all.cmd,會彈出四個窗口
  • 打開localhost:8088和localhost:50070就可以看到y(tǒng)arn和hdfs的信息了
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末酣倾,一起剝皮案震驚了整個濱河市舵揭,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌灶挟,老刑警劉巖琉朽,帶你破解...
    沈念sama閱讀 217,734評論 6 505
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件毒租,死亡現(xiàn)場離奇詭異稚铣,居然都是意外死亡,警方通過查閱死者的電腦和手機墅垮,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,931評論 3 394
  • 文/潘曉璐 我一進店門惕医,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人算色,你說我怎么就攤上這事抬伺。” “怎么了灾梦?”我有些...
    開封第一講書人閱讀 164,133評論 0 354
  • 文/不壞的土叔 我叫張陵峡钓,是天一觀的道長。 經(jīng)常有香客問我若河,道長能岩,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,532評論 1 293
  • 正文 為了忘掉前任萧福,我火速辦了婚禮拉鹃,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己膏燕,他們只是感情好钥屈,可當我...
    茶點故事閱讀 67,585評論 6 392
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著坝辫,像睡著了一般篷就。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上近忙,一...
    開封第一講書人閱讀 51,462評論 1 302
  • 那天腻脏,我揣著相機與錄音,去河邊找鬼银锻。 笑死永品,一個胖子當著我的面吹牛,可吹牛的內(nèi)容都是我干的击纬。 我是一名探鬼主播鼎姐,決...
    沈念sama閱讀 40,262評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼更振!你這毒婦竟也來了炕桨?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,153評論 0 276
  • 序言:老撾萬榮一對情侶失蹤肯腕,失蹤者是張志新(化名)和其女友劉穎献宫,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體实撒,經(jīng)...
    沈念sama閱讀 45,587評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡姊途,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,792評論 3 336
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了知态。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片捷兰。...
    茶點故事閱讀 39,919評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖负敏,靈堂內(nèi)的尸體忽然破棺而出贡茅,到底是詐尸還是另有隱情,我是刑警寧澤其做,帶...
    沈念sama閱讀 35,635評論 5 345
  • 正文 年R本政府宣布顶考,位于F島的核電站,受9級特大地震影響妖泄,放射性物質(zhì)發(fā)生泄漏驹沿。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,237評論 3 329
  • 文/蒙蒙 一浮庐、第九天 我趴在偏房一處隱蔽的房頂上張望甚负。 院中可真熱鬧柬焕,春花似錦、人聲如沸梭域。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,855評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽病涨。三九已至富玷,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間既穆,已是汗流浹背赎懦。 一陣腳步聲響...
    開封第一講書人閱讀 32,983評論 1 269
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留幻工,地道東北人励两。 一個月前我還...
    沈念sama閱讀 48,048評論 3 370
  • 正文 我出身青樓,卻偏偏與公主長得像囊颅,于是被迫代替她去往敵國和親当悔。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 44,864評論 2 354

推薦閱讀更多精彩內(nèi)容