安裝hadoop2.7.2

1. 解壓(/opt/software -> /opt/module)
   • tar -zxvf /hadoop-2.7.2.tar.gz -C /opt/module
2. 環(huán)境變量
   • sudo vim /etc/profile

   export HADOOP_HOME=/opt/module/hadoop-2.7.2
   export PATH=$PATH:$HADOOP_HOME/bin
   export PATH=$PATH:$HADOOP_HOME/sbin
   

3. 配置立即生效
   • source /etc/profile
4. 查看hadoop版本
   • hadoop version

完全分布式運(yùn)行模式

1. 集群部署規(guī)劃

   
   
   image.png

   畫橫線的最好不要配置在同一臺(tái)服務(wù)器上

2. 配置集群(etc/hadoop/)

   1. 配置core-site.xml(核心配置文件)

      • vi core-site.xml

        <configuration>
        <!-- 指定HDFS中NameNode的地址 -->
        <property>
        <name>fs.defaultFS</name>
        <value>hdfs://fan102:9000</value>
        </property>
        <!-- 指定Hadoop運(yùn)行時(shí)產(chǎn)生文件的存儲(chǔ)目錄 -->
        <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-2.7.2/data/tmp</value>
        </property>
        </configuration>
        

   2. 配置hadoop-env.sh(HDFS配置文件)

      • vi hadoop-env.sh

        export JAVA_HOME=/opt/module/jdk1.8.0_144
        

   3. 配置hdfs-site.xml(HDFS配置文件)

      • vi hdfs-site.xml

        <configuration>
        <!-- 指定HDFS副本的數(shù)量 -->
        <property>
        <name>dfs.replication</name>
        <value>1</value>
        </property>
        <!-- 指定Hadoop輔助名稱節(jié)點(diǎn)主機(jī)配置 -->
        <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>fan104:50090</value>
        </property>
        <!-- 開(kāi)啟瀏覽器訪問(wèn)HDFS -->
        <property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
        </property>
        </configuration>
        

   4. 配置yarn-env.sh(YARN配置文件)

      • vi yarn-env.sh

        export JAVA_HOME=/opt/module/jdk1.8.0_144
        

   5. 配置yarn-site.xml(YARN配置文件)

      • vi yarn-site.xml

        <configuration>
        <!-- Reducer獲取數(shù)據(jù)的方式 -->
        <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
        </property>
        <!-- 指定YARN的ResourceManager的地址 -->
        <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>fan103</value>
        </property>
        <!-- 歷史服務(wù)器端地址 -->
        <!-- 歷史服務(wù)器web端地址 -->
        <!-- 日志聚集功能使能 -->
        <!-- 日志保留時(shí)間設(shè)置7天 -->
        </configuration>
        

   6. 配置mapred-env.sh(MapReduce配置文件)

      • vi mapred-env.sh

        export JAVA_HOME=/opt/module/jdk1.8.0_144
        

   7. 配置mapred-site.xml(MapReduce配置文件)

      • cp mapred-site.xml.template mapred-site.xml
      • vi mapred-site.xml

        <configuration>
        <!-- 指定MR運(yùn)行在Yarn上 -->
        <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
        </property>
        </configuration>
        

   8. 配置slaves(服務(wù)器注冊(cè)表)

      • vi slaves

        fan102
        fan103
        fan104
        

   • 補(bǔ)充：配置HDFS存儲(chǔ)多目錄
     • df -h
       查看磁盤使用情況
     • vi hdfs-site.xml

       <property><name>dfs.datanode.data.dir</name><value>file:///${hadoop.tmp.dir}/dfs/data1,file:///hd2/dfs/data2,file:///hd3/dfs/data3,file:///hd4/dfs/data4</value>
       </property>
       

3. 啟動(dòng)<u style="line-height: 22.399999618530273px; box-sizing: content-box;">分發(fā)腳本</u>(pwd /opt/module/)

   • xsync hadoop-2.7.2/

4. 同步配置文件（/etc/profile）

   • scp /etc/profile root@fan103:/etc/profile

啟動(dòng)集群

1. 如果集群是第一次啟動(dòng)巧娱，需要格式化NameNode（注意格式化之前，一定要先停止上次啟動(dòng)的所有namenode和datanode進(jìn)程，然后再刪除data和log數(shù)據(jù)）
   • bin/hdfs namenode -format
2. 啟動(dòng)HDFS
   • sbin/start-dfs.sh
3. 啟動(dòng)YARN
   • sbin/start-yarn.sh
     注意：NameNode和ResourceManger如果不是同一臺(tái)機(jī)器绊茧，不能在NameNode上啟動(dòng) YARN，應(yīng)該在ResouceManager所在的機(jī)器上啟動(dòng)YARN。
4. 查看
   1. Web端查看
      • http://fan102:50070/
   2. Web端查看SecondaryNameNode
      • 瀏覽器中輸入：http://fan104:50090/status.html
   3. 查看各個(gè)節(jié)點(diǎn)狀態(tài)
      • jps
   4. 當(dāng)啟動(dòng)發(fā)生錯(cuò)誤的時(shí)候
      1. 查看日志：/home/fan/module/hadoop-2.7.2/logs
      2. 如果進(jìn)入安全模式，可以通過(guò)hdfs dfsadmin -safemode leave
      3. 停止所有進(jìn)程嘉栓，刪除data和log文件夾，然后hdfs namenode -format 來(lái)格式化