Date:2019/09/27
Version:hadoop2.7.7; java1.8.0_221;
流程
- 安裝java
- 下載并解壓hadoop壓縮包
- 修改配置文件
- 下載winutil葫辐,并覆蓋
- 啟動hadoop
0. 安裝java
上官網(wǎng)https://www.oracle.com/technetwork/java/javase/downloads/index.html下載并安裝jdk包效五,安裝路徑不要有空格和中文字符,避免可能會出現(xiàn)的錯誤索绪。
然后配置環(huán)境變量钓猬,左下角菜單->計算機->右鍵->屬性->高級系統(tǒng)設置->高級->環(huán)境變量->選擇下面的新建
按鈕輸入以下內(nèi)容并選擇確定
保存
再次點擊新建
潮模,輸入以下內(nèi)容并選擇確定
保存,
下面圖片中的變量值為:.;%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar
(注意
前面有.
和;
)
如下圖所示园骆,找到并編輯Path
環(huán)境變量痹兜,然后在末尾添加如下內(nèi)容,然后點擊確定
退出益缎。
添加內(nèi)容為:;%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;
打開終端谜慌,輸入java -version
,出現(xiàn)如下內(nèi)容表示成功安裝
1. 下載并解壓hadoop壓縮包
上清華hadoop鏡像網(wǎng)https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/下載hadoop-2.7.7莺奔,然后將其解壓欣范。
與java一樣為hadoop添加環(huán)境變量,
在Path
后添加如下內(nèi)容;%HADOOP_HOME%\bin;%HADOOP_HOME%\sbin;
(注意
前后的;
)
2. 修改配置文件
找到hadoop的配置文件存放目錄令哟,我的為D:\hadoop\hadoop-2.7.7\etc\hadoop
恼琼,僅供參考。修改目錄下的四個配置文件:core-site.xml, hdfs-site.xml, yarn-site.html, mapred-site.xml
屏富,其中mapred-site.xml
是不存在的晴竞,只有一個mapred-site.xml.template
,需將mapred-site.xml.template
拷貝一份并重命名為mapred-site.xml
狠半。
以下修改內(nèi)容僅供參考噩死,需根據(jù)自己的電腦稍加修改
core-site.xml
修改內(nèi)容如下,不要照抄神年,檢查自己的hadoop安裝路徑
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/D:/hadoop/hadoop-2.7.7/tmp</value>
</property>
<property>
<name>fs.checkpoint.period</name>
<value>3600</value>
</property>
</configuration>
hdfs-site.xml
修改內(nèi)容如下已维,不要照抄,檢查自己的hadoop安裝路徑
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/D:/hadoop/hadoop-2.7.7/tmp/dfs/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/D:/hadoop/hadoop-2.7.7/tmp/dfs/datanode</value>
</property>
</configuration>
yarn-site.xml
修改內(nèi)容如下:
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>1024</value>
</property>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>4096</value>
</property>
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>2</value>
</property>
</configuration>
mapred-site.xml
修改內(nèi)容如下:
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
3. 下載winutil已日,并覆蓋
下載對應版本的winutil(1Mb多點)垛耳,這里給出hadoop-2.7.7對應的winutil的百度網(wǎng)盤鏈接:https://pan.baidu.com/s/1lAVgt5p8i_rF-PMXlBhuUg,如果是其他版本的hadoop飘千,本winutil不一定適用堂鲜。先將原D:\hadoop\hadoop-2.7.7\bin
目錄備份,然后解壓winutil并覆蓋原先的/bin
目錄护奈。
4. 啟動hadoop
第一次
啟動hadoop前需要運行hadoop namenode -format
命令對namenode進行格式化缔莲,如果命令執(zhí)行成功則會出現(xiàn)如下圖片中的信息,如果失敗逆济,刪除hadoop安裝目錄下的logs
和tmp
文件夾酌予,并檢查以上配置文件,重新執(zhí)行hadoop namenode -format
奖慌。
然后是啟動hadoop抛虫,在終端執(zhí)行cd D:\hadoop\hadoop-2.7.7\sbin
(該目錄僅供參考)進入/sbin
目錄,然后執(zhí)行start-all.cmd
简僧,如果執(zhí)行成功建椰,在瀏覽器中輸入你的hostname:50070
(在終端輸入hostname
可查看自己電腦的hostname
),將出現(xiàn)如下畫面:
在瀏覽器中輸入你的hostname:8088
岛马,將出現(xiàn)如下畫面
安裝成功
參考并感謝
Win7 64位系統(tǒng)上Hadoop單機模式的安裝及開發(fā)環(huán)境搭建
Win7 安裝hadoop并配置hadoop環(huán)境
清華大學開源軟件鏡像站