Hadoop 偽分布式搭建

Hadoop環(huán)境部署-JDK部分

準備工作

• 在 /opt/目錄下創(chuàng)建文件夾modules，和softwares

1. • 修改操作權(quán)限(切換至root用戶下)
   • chown -R wxt:wxt /opt/

2. • 然后切換至普通用戶

     mkdir softwares

     mkdir modules

3. • 安裝lrzsz (在linux里可代替ftp上傳和下載澡绩。)

   首先安裝lrzsz
   yum -y install lrzsz
   - 上傳文件谱煤，執(zhí)行命令rz薯定，會跳出文件選擇窗口唾那，選擇好文件庞钢，點擊確認即可拔恰。
   rz
   - 下載文件，執(zhí)行命令sz
   sz

Hadoop環(huán)境部署-JDK部分

1. • 上傳jdk 至softwares
2. • 解壓jdk 至modules
     • tar -zxvf jdk-7u67-linux-x64.tar.gz -C /opt/modules/
3. • 修改環(huán)境變量
     • 切換至 root 用戶修改 vi /etc/profile 文件基括，配置jdk環(huán)境變量

     #JAVA_HOME
     export JAVA_HOME=/opt/modules/jdk1.7.0_67
     export PATH=$PATH:$JAVA_HOME/bin
     

4. • source /etc/profile 使文件生效

   • 驗證是否配置成功

     • java -version

     java version "1.7.0_09-icedtea"
     OpenJDK Runtime Environment (rhel-2.3.4.1.el6_3-x86_64)
     OpenJDK 64-Bit Server VM (build 23.2-b09, mixed mode)
     

   • jps命令可以查看java 進程

   • echo $JAVA_HOME

Hadoop偽分布式環(huán)境部署-Hadoop部分

1. • 上傳文件hadoop-2.5.0.tar.gz颜懊，至softwares
   • 解壓文件至modules
     • tar -zxvf hadoop-2.5.0.tar.gz -C /opt/modules/
2. • 清理Hadoop的目錄，將hadoop/share/doc目錄刪除风皿，節(jié)省磁盤空間河爹， 通過這個命令查看df -h
3. • 修改hadoop/etc/hadoop/hadoop-env.sh文件
   • 修改hadoop/etc/hadoop/mapred-env.sh文件
   • 修改hadoop/etc/hadoop/yarn-env.sh文件
   • 指定Java安裝路徑
     • export JAVA_HOME=/opt/modules/jdk1.7.0_67
4. • 注意：
     • Hadoop中的四個核心模塊對應四個默認配置文件
     • HDFS,Hadoop默認的文件系統(tǒng),是文件系統(tǒng)的訪問入口
     • Namenode,所在的機器9000端口是早期Hadoop 1.x使用的，現(xiàn)在 Hadoop 2.x使用的是8020端口號用于節(jié)點直接內(nèi)部通信揪阶，使用RPC
       通信機制
5. • 修改hadoop/etc/hadoop/core-site.xml文件

     <property>
         <name>fs.defaultFS</name>
         <!--bigdata-4 為我的localhost 名字-->
         <value>hdfs://bigdata-4:8020</value>
     </property>
     <property>
         <name>hadoop.tmp.dir</name>
         <value>/opt/modules/hadoop-2.5.0/data/tmp</value>
     </property>
     

6. • 注意：
     • /tmp表示臨時存儲目錄昌抠，系統(tǒng)每次重啟會按照腳本預先設置好的刪 除 里面的文件重新自定義系統(tǒng)生成的文件路徑，/tmp會被清空鲁僚，
       無法保證數(shù)據(jù)文件安全性答倡。

7. • 修改hadoop/etc/hadoop/hdfs-site.xml文件

     • 指定HDFS文件存儲的副本數(shù)個數(shù)铭若，默認是3個馍乙，這里是單臺機
       器就設置為1，這個數(shù)字要小于datanode的節(jié)點數(shù)执虹。

     <property>
         <name>dfs.replication</name>
         <value>1</value>
     </property>
     
     

8. • 修改hadoop/etc/hadoop/slaves文件
     • 指定從節(jié)點的機器位置，添加主機名即可

     • bigdata-4

9. • 格式化namenode

     • bin/hdfs namenode -format

10. • 啟動命令
      • sbin/hadoop-daemon.sh start namenode
      • sbin/hadoop-daemon.sh start datanode
11. • 查看HDFS外部UI界面
      • bigdata-04或者IP地址 跟上50070端口號唠梨，外部通信http
        dfs.namenode.http-address 50070
      • http://bigdata-4:50070 （如果windows本地沒有配置hosts,需要配置）
      • 如果不能正確打開頁面袋励，請檢查防火墻是否關閉
        • 切換至root 用戶，service iptables status
        • 關閉防火墻 chkconfig iptables off
12. • 測試HDFS環(huán)境
      • 創(chuàng)建文件夾当叭，HDFS中有用戶主目錄的概念茬故，和Linux一樣
      • bin/hdfs dfs -mkdir -p wxt_test/iuput
13. • 上傳文件到HDFS(隨便找一個文件上傳就行)
      • bin/hdfs dfs -put /opt/modules/hadoop-2.5.0/etc/hadoop/core-site.xml wxt_test/input/core-site.xml
      • 上傳成功，HDFS外部UI界面蚁鳖，會有上傳的文件顯示
14. • 讀取HDFS的文件
      • bin/hdfs dfs -text /core-site.xml
      • 終端會顯示上傳文件的內(nèi)容磺芭。

15. • 下載文件到本地（指定下載到哪里，同時可以重命名成get-site.xml）

      bin/hdfs dfs -get /core-site.xml /home/wxt/Desktop/get-site.xml

      然后你會看到這個文件醉箕，并且重命名于桌面钾腺。

Hadoop 偽分布式搭建至此結(jié)束。

寫在后面

- 至于優(yōu)化讥裤，下篇再寫
- 學習中有什么問題放棒，可以在下面留言。

更新

下篇已更己英，如有需要請點這里wordcount