/*
?* 以下不涉及完全分布式睡腿，只說明單機(jī)版和偽分布式
*/
一，hadoop本地模式和偽分布式模式之間的區(qū)別
1.單機(jī)(非分布式)模式
這種模式在一臺單機(jī)上運(yùn)行峻贮，沒有分布式文件系統(tǒng)席怪，而是直接讀寫本地操作系統(tǒng)的文件系統(tǒng)。
2.偽分布式運(yùn)行模式
這種模式也是在一臺單機(jī)上運(yùn)行纤控，但用不同的Java進(jìn)程模仿分布式運(yùn)行中的各類結(jié)點: (NameNode,DataNode,JobTracker,TaskTracker,SecondaryNameNode)
請注意分布式運(yùn)行中的這幾個結(jié)點的區(qū)別：
從分布式存儲的角度來說挂捻，集群中的結(jié)點由一個NameNode和若干個DataNode組成,另有一個SecondaryNameNode作為NameNode的備份。
從分布式應(yīng)用的角度來說船万，集群中的結(jié)點由一個JobTracker和若干個TaskTracker組成刻撒，JobTracker負(fù)責(zé)任務(wù)的調(diào)度，TaskTracker負(fù)責(zé)并行執(zhí)行任務(wù)耿导。TaskTracker必須運(yùn)行在DataNode上声怔，這樣便于數(shù)據(jù)的本地計算。JobTracker和NameNode則無須在同一臺機(jī)器上碎节。一個機(jī)器上捧搞，既當(dāng)namenode，又當(dāng)datanode,或者說既是jobtracker,又是tasktracker。沒有所謂的在多臺機(jī)器上進(jìn)行真正的分布式計算胎撇，故稱為"偽分布式"介粘。
二，hadoop本地模式的搭建
1.首先需要一臺客戶機(jī)
2.安裝jdk
1)首先在客戶機(jī)根目錄root文件夾下建立tools文件夾：root> mkdir tools
2)用遠(yuǎn)程連接工具連接客戶機(jī)晚树，拖拽壓縮包到客戶機(jī)? root/tools/目錄下
3) 解壓jdk到/etc/local下：tar -zxvf? jdk-8u152-linux-x64.tar.gz? -C /usr/local/?
3.安裝hadoop
1) 拖拽壓縮包到客戶機(jī)root/rools 目錄下
2)解壓hadoop到etc/local/下：tar -zxvf? hadoop-2.7.2.tar.gz -C /usr/local/
4.配置環(huán)境變量
hadoop> vi /etc/profile
export JAVA_HOME=/usr/local/jdk1.8.0_152
export HADOOP_HOME=/usr/local/hadoop-2.7.2/
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
5. hadoop version
java -version
以上兩項姻采，都能正常顯示除版本號，即為環(huán)境搭建成功
以上步驟為本地模式搭建成功爵憎！
三慨亲，hadoop偽分布式模式的搭建
/*
?*以上五部到配置環(huán)境搭建成功為基礎(chǔ)
?*/
5.配置集群
1）配置：hadoop-env.sh
Linux 系統(tǒng)中獲取jdk 的安裝路徑：/usr/local/jdk1.8.0_152
修改JAVA_HOME??路徑為：export JAVA_HOME=/opt/module/jdk1.8.0_144
2）配置：core-site.xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop101:9000</value>
<!-- 指定hadoop 運(yùn)行時產(chǎn)生文件的存儲目錄-->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>
3）配置：hdfs-site.xml
<!-- 指定HDFS 副本的數(shù)量-->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
4）啟動集群
格式化namenode（第一次啟動時格式化，以后就不要總格式化）?[qianfeng@hadoop101 hadoop-2.7.2]$ bin/hdfs namenode -format
啟動namenode
[qianfeng@hadoop101 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start namenode
啟動datanode
[qianfeng@hadoop101 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start datanode
5）查看集群是否成功
[qianfeng@hadoop101 hadoop-2.7.2]$ jps
13586 NameNode
13668 DataNode
13786 Jps
//正常應(yīng)該啟動這三個進(jìn)程
6）查看產(chǎn)生的log日志
當(dāng)前目錄：/usr/local/hadoop-2.7.2/logs
>ls?
hadoop-qianfeng-datanode-hadoop.qianfeng.com.log hadoop-qianfeng-datanode-hadoop.qianfeng.com.out hadoop-qianfeng-namenode-hadoop.qianfeng.com.log hadoop-qianfeng-namenode-hadoop.qianfeng.com.out SecurityAuth-root.audit
cat hadoop-qianfeng-datanode-hadoop101.log
7）在web前端啥看HDFS文件系統(tǒng)
http://192.168.120.128:50070/ ? 注意不要用自己計算機(jī)自帶的瀏覽器宝鼓，用搜狗刑棵，360都可以，如果無法查看網(wǎng)頁打開如下帖子處理
http://www.cnblogs.com/zlslch/p/6604189.html
以上步驟即為偽分布式搭建成功愚铡！
