一、切換到root用戶
su - root
二官边、關閉selinux：vim /etc/selinux/config
SELINUX=disabled
三鸳劳、切換到hadoop用戶癞季，配置免密登陸锡移。
cd 進入hadoop用戶的家目錄
ssh-keygen -t rsa [輸入完后連按4個回車]
ssh node100 [yes，輸入hadoop用戶的密碼]
ssh-copy-id node100 [輸入hadoop用戶的密碼]
四崔赌、解壓安裝jdk和hadoop
可新建一個module文件夾意蛀，將jdk與hadoop解壓到該文件夾下。
五健芭、編輯環(huán)境變量：vim ~/.bash_profile
在文件末尾添加
JAVA_HOME=jdk所在文件夾名稱
HADOOP_HOME=hadoop所在文件夾名稱
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export JAVA_HOME
export HADOOP_HOME
export PATH
六县钥、重新加載該文件，使環(huán)境變量生效
source ~/.bash_profile
java -version
hadoop version
七慈迈、修改hadoop的配置文件:cd /opt/module/hadoop-2.7.3/etc/hadoop
1.vim ./hadoop-env.sh
export JAVA_HOME=jdk所在文件夾名稱
2.vim ./mapred-env.sh
export JAVA_HOME=jdk所在文件夾名稱
3.vim ./yarn-env.sh
export JAVA_HOME=jdk所在文件夾名稱
4.vim ./core-site.xml
? ? ? ? <!-- 指定HDFS中NameNode的地址 -->
? ? ? ? <property>
? ? ? ? ? ? ? ? <name>fs.defaultFS</name>
? ? ? ? ? ? ? ? <value>hdfs://node100:9000</value>
? ? ? ? </property>
? ? ? ? <!-- 指定Hadoop運行時產(chǎn)生文件的存儲目錄 -->
? ? ? ? <property>
? ? ? ? ? ? ? ? <name>hadoop.tmp.dir</name>
? ? ? ? ? ? ? ? <value>/opt/module/hadoopdata</value>
? ? ? ? </property>
5.vim ./hdfs-site.xml
? ? ? ? <!-- 指定HDFS副本的數(shù)量 -->
? ? ? ? <property>
? ? ? ? ? ? ? ? <name>dfs.replication</name>
? ? ? ? ? ? ? ? <value>1</value>
? ? ? ? </property>
? ? ? ? <!-- 指定Hadoop輔助名稱節(jié)點主機配置 -->
? ? ? ? <property>
? ? ? ? ? ? ? ? <name>dfs.namenode.secondary.http-address</name>
? ? ? ? ? ? ? ? <value>node100:50090</value>
? ? ? ? </property>
6.cp ./mapred-site.xml.template ./mapred-site.xml
vim ./mapred-site.xml
? ? <!-- 指定MR運行在yarn上 -->
? ? <property>
? ? ? ? <name>mapreduce.framework.name</name>
? ? ? ? <value>yarn</value>
? ? </property>
7.vim ./yarn-site.xml
? ? ? ? <!-- Reducer獲取數(shù)據(jù)的方式 -->
? ? ? ? <property>
? ? ? ? ? ? ? ? <name>yarn.nodemanager.aux-services</name>
? ? ? ? ? ? ? ? <value>mapreduce_shuffle</value>
? ? ? ? </property>
? ? ? ? <!-- 指定YARN的ResourceManager的地址 -->
? ? ? ? <property>
? ? ? ? ? ? ? ? <name>yarn.resourcemanager.hostname</name>
? ? ? ? ? ? ? ? <value>node100</value>
? ? ? ? </property>
? ? ? ? <!-- 關閉虛擬內(nèi)存檢查 -->
? ? ? ? <property>
? ? ? ? ? ? ? ? <name>yarn.nodemanager.vmem-check-enabled</name>
? ? ? ? ? ? ? ? <value>false</value>
? ? ? ? </property>
八魁蒜、格式化hadoop集群
hdfs namenode -format
九、啟動/關閉hadoop集群
啟動hadoop集群：start-all.sh
關閉hadoop集群：stop-all.sh
十一吩翻、驗證集群
192.168.5.100:50070
192.168.5.100:8088
十二、Hadoop的wordcount
1.vim word.txt
hello python
hello java
hello scala
hello world
welcome to beijing
2.wordcount測試
hadoop fs -mkdir /test
hadoop fs -put ./word.txt /test
hadoop jar /opt/module/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /test/word.txt /output
hadoop fs -cat /output/part-r-00000
