準備工作
1视哑、Hadoop官方下載地址:http://hadoop.apache.org/releases.html
選擇最新的3.0.0版本后跳轉(zhuǎn)至下面的頁面選擇紅色框部分鏈接即可下載,建議采用專業(yè)的下載工具下載,速度更快
2乏梁、將tar.gz包解壓至D盤根目錄:
Note:必須用管理員權限解壓
3、配置環(huán)境變量:
添加HADOOP_HOME配置:
在Path中添加如下:
4、Hadoop需要依賴JDK灌灾,考慮其路徑中不能有空格,故直接安裝如下目錄:
Hadoop配置
1悲柱、修改D:/hadoop-3.0.0/etc/hadoop/core-site.xml配置:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
2锋喜、修改D:/hadoop-3.0.0/etc/hadoop/mapred-site.xml配置:
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
3、在D:/hadoop-3.0.0目錄下創(chuàng)建data目錄豌鸡,作為數(shù)據(jù)存儲路徑:
在D:/hadoop-3.0.0/data目錄下創(chuàng)建datanode目錄嘿般;
在D:/hadoop-3.0.0/data目錄下創(chuàng)建namenode目錄;
4涯冠、修改D:/hadoop-3.0.0/etc/hadoop/hdfs-site.xml配置:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/D:/hadoop-3.0.0/data/namenode</value>
</property>
<property>
<name>fs.checkpoint.dir</name>
<value>/D:/hadoop-3.0.0/data/snn</value>
</property>
<property>
<name>fs.checkpoint.edits.dir</name>
<value>/D:/hadoop-3.0.0/data/snn</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/D:/hadoop-3.0.0/data/datanode</value>
</property>
</configuration>
5炉奴、修改D:/hadoop-3.0.0/etc/hadoop/yarn-site.xml配置:
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
6、修改D:/hadoop-3.0.0/etc/hadoop/hadoop-env.cmd配置蛇更,找到"set JAVA_HOME=%JAVA_HOME%"替換為"set JAVA_HOME=D:\hadoop-3.0.0\jdk1.8.0_151"
7瞻赶、bin目錄替換,至https://github.com/steveloughran/winutils下載解壓
找到對應的版本后完整替換bin目錄即可
啟動服務
1派任、D:\hadoop-3.0.0\bin> hdfs namenode -format
2砸逊、通過start-all.cmd啟動服務
3、此時可以看到同時啟動了如下4個服務:
Hadoop Namenode
Hadoop datanode
YARN Resourc Manager
YARN Node Manager
HDFS應用
1掌逛、通過http://127.0.0.1:8088/即可查看集群所有節(jié)點狀態(tài):
2师逸、訪問http://localhost:9870/即可查看文件管理頁面:
進入文件管理頁面:
創(chuàng)建目錄:
上傳文件
上傳成功
Note:在之前的版本中文件管理的端口是50070,在3.0.0中替換為了9870端口豆混,具體變更信息來源如下官方說明
http://hadoop.apache.org/docs/r3.0.0/hadoop-project-dist/hadoop-hdfs/HdfsUserGuide.html#Web_Interface
3篓像、通過hadoop命令行進行文件操作:
mkdir命令創(chuàng)建目錄:hadoop fs -mkdir hdfs://localhost:9000/user