1.下載

http://hadoop.apache.org/ hadoop官網(wǎng)

image.png

image.png

image.png

2.解壓

一定要用管理員權(quán)限解壓最仑，否則解壓不成功
先找到winRAR軟件的安裝位置，右鍵炊甲，以管理員打開泥彤。

image.png

點擊解壓到，將hadoop解壓到指定位置卿啡，這里我解壓到D:\hadoop-2.8.3

3.配置環(huán)境變量

添加HADOOP_HOME路徑為hadoop安裝路徑D:\hadoop-2.8.3
在Path中添加路徑 %HADOOP_HOME%\bin

4.注意

hadoop需要java 的jdk1.8以上支持吟吝。 jdk的路徑已經(jīng)不能有空格，比如
D:\Program Files\java\jdk1.8.0_162這是不行的颈娜。 我這里設(shè)置的是D:\Java\jdk1.8.0_162
電腦主機(jī)名里不能有下滑線剑逃，或者特殊字符 #$浙宜，不然會找不到主機(jī)導(dǎo)致無法啟動，建議自己改一下主機(jī)名

5.

hadoop路徑下創(chuàng)建data用于數(shù)據(jù)存儲蛹磺，再在data下創(chuàng)建datanode目錄和namenode目錄

6.

hadoop配置

四個hadoop路徑/etc/hadoop/core-site.xml,etc/hadoop/mapred-site.xml,etc/hadoop/hdfs-site.xml,etc/hadoop/yarn-site.xml
1.core-site.xml（配置默認(rèn)hdfs的訪問端口）

<configuration>  
    <property>  
       <name>fs.defaultFS</name>  
       <value>hdfs://localhost:9000</value>  
   </property>
</configuration>

2.mapred-site.xml粟瞬，重命名mapred-site.xml.template為mapred-site.xml（設(shè)置mr使用的框架，這里使用yarn）

<configuration>  
    <property>  
       <name>mapreduce.framework.name</name>  
       <value>yarn</value>  
   </property>
</configuration>

3.hdfs-site.xml（設(shè)置復(fù)制數(shù)為1萤捆，即不進(jìn)行復(fù)制裙品。namenode文件路徑以及datanode數(shù)據(jù)路徑。）

<configuration>  
    <!-- 這個參數(shù)設(shè)置為1俗或，因為是單機(jī)版hadoop -->  
    <property>  
        <name>dfs.replication</name>  
        <value>1</value>  
    </property>  
    <property>   
     <name>dfs.permissions</name>   
     <value>false</value>   
  </property>  
   <property>  
       <name>dfs.namenode.name.dir</name>  
       <value>/D:/hadoop-2.8.3/data/namenode</value>  
   </property>  
   <property>  
        <name>fs.checkpoint.dir</name>  
        <value>/D:/hadoop-2.8.3/data/snn</value>  
    </property>  
    <property>  
        <name>fs.checkpoint.edits.dir</name>  
        <value>/D:/hadoop-2.8.3/data/snn</value>  
    </property>  
       <property>  
       <name>dfs.datanode.data.dir</name>  
       <value>/D:/hadoop-2.8.3/data/datanode</value>  
   </property>
</configuration>

4.yarn-site.xml（這里yarn設(shè)置使用了mr混洗）

<configuration>  
<!-- Site specific YARN configuration properties -->  
    <property>  
        <name>yarn.nodemanager.aux-services</name>  
        <value>mapreduce_shuffle</value>  
   </property>  
   <property>  
        <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>    
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>  
   </property>
</configuration>

至此市怎，hadoop配置完成，hdfs負(fù)責(zé)分布式存儲辛慰，mapreduce負(fù)責(zé)分布式計算,yarn負(fù)責(zé)資源調(diào)度区匠，基本的（偽）分布式環(huán)境初步建立

7

修改D:/hadoop-2.8.3/etc/hadoop/hadoop-env.cmd配置，找到set JAVA_HOME=%JAVA_HOME% 替換為set JAVA_HOME=D:\Java\jdk1.8.0_25(如果你已經(jīng)配置過JAVA_HOME的話帅腌，就不需要這么配置了)

8.

winutils中對應(yīng)的hadoop版本中的bin替換自己hadoop安裝目錄下的bin

image.png

找到對應(yīng)的版本下的bin替換hadoop中的bin

9.啟動

1.cmd中驰弄，D:\hadoop-3.0.3\bin> hdfs namenode -format
執(zhí)行后，data下的namenode和datanode下會有current等文件（格式化hdfs）
2.D:\hadoop-3.0.3\sbin 雙擊啟動start-all.cmd服務(wù)狞膘，會看到
Hadoop Namenode
Hadoop datanode
YARN Resourc Manager
YARN Node Manager
3.執(zhí)行stop-all.cmd 關(guān)閉Hadoop

10.HDFS應(yīng)用

1.通過http://localhost:8088/ 即可查看集群中的所有節(jié)點狀態(tài)揩懒。

image.png

image.png

3.通過hadoop命令進(jìn)行操作
d.使用hadoop命令進(jìn)行文件操作
mkdir命令創(chuàng)建目錄：hadoop fs -mkdir hdfs://ip:9000/user
put命令上傳文件：hadoop fs -put D:/a.txt hdfs://ip:9000/user/
ls命令查看指定目錄文件列表：hadoop fs -ls hdfs://ip:9000/user/

image.png

image.png