Hadoop 偽分布式搭建

Hadoop環(huán)境部署-JDK部分

準(zhǔn)備工作

• 在 /opt/目錄下創(chuàng)建文件夾modules，和softwares

1. • 修改操作權(quán)限(切換至root用戶下)
   • chown -R wxt:wxt /opt/

2. • 然后切換至普通用戶

     mkdir softwares

     mkdir modules

3. • 安裝lrzsz (在linux里可代替ftp上傳和下載宰译。)

   首先安裝lrzsz
   yum -y install lrzsz
   - 上傳文件，執(zhí)行命令rz豆拨，會跳出文件選擇窗口花嘶，選擇好文件，點(diǎn)擊確認(rèn)即可。
   rz
   - 下載文件基显，執(zhí)行命令sz
   sz

Hadoop環(huán)境部署-JDK部分

1. • 上傳jdk 至softwares
2. • 解壓jdk 至modules
     • tar -zxvf jdk-7u67-linux-x64.tar.gz -C /opt/modules/
3. • 修改環(huán)境變量
     • 切換至 root 用戶修改 vi /etc/profile 文件，配置jdk環(huán)境變量

     #JAVA_HOME
     export JAVA_HOME=/opt/modules/jdk1.7.0_67
     export PATH=$PATH:$JAVA_HOME/bin
     

4. • source /etc/profile 使文件生效

   • 驗(yàn)證是否配置成功

     • java -version

     java version "1.7.0_09-icedtea"
     OpenJDK Runtime Environment (rhel-2.3.4.1.el6_3-x86_64)
     OpenJDK 64-Bit Server VM (build 23.2-b09, mixed mode)
     

   • jps命令可以查看java 進(jìn)程

   • echo $JAVA_HOME

Hadoop偽分布式環(huán)境部署-Hadoop部分

1. • 上傳文件hadoop-2.5.0.tar.gz善炫，至softwares
   • 解壓文件至modules
     • tar -zxvf hadoop-2.5.0.tar.gz -C /opt/modules/
2. • 清理Hadoop的目錄撩幽，將hadoop/share/doc目錄刪除，節(jié)省磁盤空間箩艺， 通過這個(gè)命令查看df -h
3. • 修改hadoop/etc/hadoop/hadoop-env.sh文件
   • 修改hadoop/etc/hadoop/mapred-env.sh文件
   • 修改hadoop/etc/hadoop/yarn-env.sh文件
   • 指定Java安裝路徑
     • export JAVA_HOME=/opt/modules/jdk1.7.0_67
4. • 注意：
     • Hadoop中的四個(gè)核心模塊對應(yīng)四個(gè)默認(rèn)配置文件
     • HDFS,Hadoop默認(rèn)的文件系統(tǒng),是文件系統(tǒng)的訪問入口
     • Namenode,所在的機(jī)器9000端口是早期Hadoop 1.x使用的窜醉，現(xiàn)在 Hadoop 2.x使用的是8020端口號用于節(jié)點(diǎn)直接內(nèi)部通信，使用RPC
       通信機(jī)制
5. • 修改hadoop/etc/hadoop/core-site.xml文件

     <property>
         <name>fs.defaultFS</name>
         <!--bigdata-4 為我的localhost 名字-->
         <value>hdfs://bigdata-4:8020</value>
     </property>
     <property>
         <name>hadoop.tmp.dir</name>
         <value>/opt/modules/hadoop-2.5.0/data/tmp</value>
     </property>
     

6. • 注意：
     • /tmp表示臨時(shí)存儲目錄艺谆，系統(tǒng)每次重啟會按照腳本預(yù)先設(shè)置好的刪 除 里面的文件重新自定義系統(tǒng)生成的文件路徑榨惰，/tmp會被清空，
       無法保證數(shù)據(jù)文件安全性静汤。

7. • 修改hadoop/etc/hadoop/hdfs-site.xml文件

     • 指定HDFS文件存儲的副本數(shù)個(gè)數(shù)琅催，默認(rèn)是3個(gè)居凶，這里是單臺機(jī)
       器就設(shè)置為1，這個(gè)數(shù)字要小于datanode的節(jié)點(diǎn)數(shù)藤抡。

     <property>
         <name>dfs.replication</name>
         <value>1</value>
     </property>
     
     

8. • 修改hadoop/etc/hadoop/slaves文件
     • 指定從節(jié)點(diǎn)的機(jī)器位置排监，添加主機(jī)名即可

     • bigdata-4

9. • 格式化namenode

     • bin/hdfs namenode -format

10. • 啟動(dòng)命令
      • sbin/hadoop-daemon.sh start namenode
      • sbin/hadoop-daemon.sh start datanode
11. • 查看HDFS外部UI界面
      • bigdata-04或者IP地址 跟上50070端口號，外部通信http
        dfs.namenode.http-address 50070
      • http://bigdata-4:50070 （如果windows本地沒有配置hosts,需要配置）
      • 如果不能正確打開頁面杰捂，請檢查防火墻是否關(guān)閉
        • 切換至root 用戶舆床，service iptables status
        • 關(guān)閉防火墻 chkconfig iptables off
12. • 測試HDFS環(huán)境
      • 創(chuàng)建文件夾，HDFS中有用戶主目錄的概念嫁佳，和Linux一樣
      • bin/hdfs dfs -mkdir -p wxt_test/iuput
13. • 上傳文件到HDFS(隨便找一個(gè)文件上傳就行)
      • bin/hdfs dfs -put /opt/modules/hadoop-2.5.0/etc/hadoop/core-site.xml wxt_test/input/core-site.xml
      • 上傳成功挨队，HDFS外部UI界面，會有上傳的文件顯示
14. • 讀取HDFS的文件
      • bin/hdfs dfs -text /core-site.xml
      • 終端會顯示上傳文件的內(nèi)容蒿往。

15. • 下載文件到本地（指定下載到哪里盛垦，同時(shí)可以重命名成get-site.xml）

      bin/hdfs dfs -get /core-site.xml /home/wxt/Desktop/get-site.xml

      然后你會看到這個(gè)文件，并且重命名于桌面瓤漏。

Hadoop 偽分布式搭建至此結(jié)束腾夯。

寫在后面

- 至于優(yōu)化，下篇再寫
- 學(xué)習(xí)中有什么問題蔬充，可以在下面留言蝶俱。
- 歡迎加群一起學(xué)習(xí)：169033439(加群備注：wxt_bigdata)

更新

下篇已更，如有需要請點(diǎn)這里wordcount