win7配置hadoop-2.7.7詳細教程

Date:2019/09/27
Version:hadoop2.7.7; java1.8.0_221;


流程

  1. 安裝java
  2. 下載并解壓hadoop壓縮包
  3. 修改配置文件
  4. 下載winutil葫辐,并覆蓋
  5. 啟動hadoop

0. 安裝java

上官網(wǎng)https://www.oracle.com/technetwork/java/javase/downloads/index.html下載并安裝jdk包效五,安裝路徑不要有空格和中文字符,避免可能會出現(xiàn)的錯誤索绪。
然后配置環(huán)境變量钓猬,左下角菜單->計算機->右鍵->屬性->高級系統(tǒng)設置->高級->環(huán)境變量->選擇下面的新建按鈕輸入以下內(nèi)容并選擇確定保存

設置JAVA_HOME環(huán)境變量

再次點擊新建潮模,輸入以下內(nèi)容并選擇確定保存,
下面圖片中的變量值為:.;%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar注意前面有.;

設置CLASSPATH環(huán)境變量

如下圖所示园骆,找到并編輯Path環(huán)境變量痹兜,然后在末尾添加如下內(nèi)容,然后點擊確定退出益缎。
添加內(nèi)容為:;%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;

找到并編輯PATH環(huán)境變量

打開終端谜慌,輸入java -version,出現(xiàn)如下內(nèi)容表示成功安裝

java安裝成功標志

1. 下載并解壓hadoop壓縮包

上清華hadoop鏡像網(wǎng)https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/下載hadoop-2.7.7莺奔,然后將其解壓欣范。

與java一樣為hadoop添加環(huán)境變量,


添加HADOOP_HOME環(huán)境變量

Path后添加如下內(nèi)容;%HADOOP_HOME%\bin;%HADOOP_HOME%\sbin;注意前后的;

編輯Path

2. 修改配置文件

找到hadoop的配置文件存放目錄令哟,我的為D:\hadoop\hadoop-2.7.7\etc\hadoop恼琼,僅供參考。修改目錄下的四個配置文件:core-site.xml, hdfs-site.xml, yarn-site.html, mapred-site.xml屏富,其中mapred-site.xml是不存在的晴竞,只有一個mapred-site.xml.template,需將mapred-site.xml.template拷貝一份并重命名為mapred-site.xml狠半。
以下修改內(nèi)容僅供參考噩死,需根據(jù)自己的電腦稍加修改
core-site.xml修改內(nèi)容如下,不要照抄神年,檢查自己的hadoop安裝路徑

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>  
    
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/D:/hadoop/hadoop-2.7.7/tmp</value>
    </property>
    
    <property>
        <name>fs.checkpoint.period</name>
        <value>3600</value>
    </property>
    
</configuration>

hdfs-site.xml修改內(nèi)容如下已维,不要照抄,檢查自己的hadoop安裝路徑

<configuration>

    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/D:/hadoop/hadoop-2.7.7/tmp/dfs/namenode</value>
    </property>
    
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/D:/hadoop/hadoop-2.7.7/tmp/dfs/datanode</value>
    </property>
    
</configuration>

yarn-site.xml修改內(nèi)容如下:

<configuration>
    <!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    
    <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>1024</value>
    </property>
    
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>4096</value>
    </property>
    
    <property>
        <name>yarn.nodemanager.resource.cpu-vcores</name>
        <value>2</value>
    </property>
</configuration>

mapred-site.xml修改內(nèi)容如下:

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

3. 下載winutil已日,并覆蓋

下載對應版本的winutil(1Mb多點)垛耳,這里給出hadoop-2.7.7對應的winutil的百度網(wǎng)盤鏈接:https://pan.baidu.com/s/1lAVgt5p8i_rF-PMXlBhuUg,如果是其他版本的hadoop飘千,本winutil不一定適用堂鲜。先將原D:\hadoop\hadoop-2.7.7\bin目錄備份,然后解壓winutil并覆蓋原先的/bin目錄护奈。

4. 啟動hadoop

第一次啟動hadoop前需要運行hadoop namenode -format命令對namenode進行格式化缔莲,如果命令執(zhí)行成功則會出現(xiàn)如下圖片中的信息,如果失敗逆济,刪除hadoop安裝目錄下的logstmp文件夾酌予,并檢查以上配置文件,重新執(zhí)行hadoop namenode -format奖慌。

hadoop namenode -format執(zhí)行成功標志

然后是啟動hadoop抛虫,在終端執(zhí)行cd D:\hadoop\hadoop-2.7.7\sbin(該目錄僅供參考)進入/sbin目錄,然后執(zhí)行start-all.cmd简僧,如果執(zhí)行成功建椰,在瀏覽器中輸入你的hostname:50070(在終端輸入hostname可查看自己電腦的hostname),將出現(xiàn)如下畫面:

hostname:50070

在瀏覽器中輸入你的hostname:8088岛马,將出現(xiàn)如下畫面

yarn資源管理器web界面

安裝成功

參考并感謝

Win7 64位系統(tǒng)上Hadoop單機模式的安裝及開發(fā)環(huán)境搭建
Win7 安裝hadoop并配置hadoop環(huán)境
清華大學開源軟件鏡像站

?著作權歸作者所有,轉載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末棉姐,一起剝皮案震驚了整個濱河市屠列,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌伞矩,老刑警劉巖笛洛,帶你破解...
    沈念sama閱讀 211,290評論 6 491
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異乃坤,居然都是意外死亡苛让,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,107評論 2 385
  • 文/潘曉璐 我一進店門湿诊,熙熙樓的掌柜王于貴愁眉苦臉地迎上來狱杰,“玉大人,你說我怎么就攤上這事厅须》禄” “怎么了?”我有些...
    開封第一講書人閱讀 156,872評論 0 347
  • 文/不壞的土叔 我叫張陵朗和,是天一觀的道長错沽。 經(jīng)常有香客問我,道長眶拉,這世上最難降的妖魔是什么甥捺? 我笑而不...
    開封第一講書人閱讀 56,415評論 1 283
  • 正文 為了忘掉前任,我火速辦了婚禮镀层,結果婚禮上,老公的妹妹穿的比我還像新娘皿曲。我一直安慰自己唱逢,他們只是感情好,可當我...
    茶點故事閱讀 65,453評論 6 385
  • 文/花漫 我一把揭開白布屋休。 她就那樣靜靜地躺著坞古,像睡著了一般。 火紅的嫁衣襯著肌膚如雪劫樟。 梳的紋絲不亂的頭發(fā)上痪枫,一...
    開封第一講書人閱讀 49,784評論 1 290
  • 那天,我揣著相機與錄音叠艳,去河邊找鬼奶陈。 笑死,一個胖子當著我的面吹牛附较,可吹牛的內(nèi)容都是我干的吃粒。 我是一名探鬼主播,決...
    沈念sama閱讀 38,927評論 3 406
  • 文/蒼蘭香墨 我猛地睜開眼拒课,長吁一口氣:“原來是場噩夢啊……” “哼徐勃!你這毒婦竟也來了事示?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 37,691評論 0 266
  • 序言:老撾萬榮一對情侶失蹤僻肖,失蹤者是張志新(化名)和其女友劉穎肖爵,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體臀脏,經(jīng)...
    沈念sama閱讀 44,137評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡劝堪,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,472評論 2 326
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了谁榜。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片幅聘。...
    茶點故事閱讀 38,622評論 1 340
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖窃植,靈堂內(nèi)的尸體忽然破棺而出帝蒿,到底是詐尸還是另有隱情,我是刑警寧澤巷怜,帶...
    沈念sama閱讀 34,289評論 4 329
  • 正文 年R本政府宣布葛超,位于F島的核電站,受9級特大地震影響延塑,放射性物質(zhì)發(fā)生泄漏绣张。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 39,887評論 3 312
  • 文/蒙蒙 一关带、第九天 我趴在偏房一處隱蔽的房頂上張望侥涵。 院中可真熱鬧,春花似錦宋雏、人聲如沸芜飘。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,741評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽嗦明。三九已至,卻和暖如春蚪燕,著一層夾襖步出監(jiān)牢的瞬間娶牌,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 31,977評論 1 265
  • 我被黑心中介騙來泰國打工馆纳, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留惶楼,地道東北人栏笆。 一個月前我還...
    沈念sama閱讀 46,316評論 2 360
  • 正文 我出身青樓茉稠,卻偏偏與公主長得像削解,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 43,490評論 2 348

推薦閱讀更多精彩內(nèi)容