Hadoop yarn集群搭建
1. 修改host
主節(jié)點：192.168.3.187 L-AP-3-187
從節(jié)點：192.168.3.188 L-AP-3-188
從節(jié)點：192.168.3.189 L-AP-3-189
2. 配置ssh官脓，master slaves之間無密碼傳輸
master 和slave上ssh-keygen -t rsa生成公鑰秘鑰荠列，將公鑰scp傳到master上
在master將slaves的公鑰cat>>到authorized_keys
將master上的authorized_keys發(fā)到每臺機器上，讓所有機器之間都能訪問
3. 下載jdk,hadoop,spark
tar -xzvf hadoop-2.7.4.tar.gz
常用命令
解壓
tar –xvf file.tar //解壓 tar包
tar -xzvf file.tar.gz //解壓tar.gz
tar -xjvf file.tar.bz2 //解壓 tar.bz2
tar –xZvf file.tar.Z //解壓tar.Z
unrar e file.rar //解壓rar
unzip file.zip //解壓zip
壓縮
tar –cvf jpg.tar *.jpg //將目錄里所有jpg文件打包成tar.jpg
tar –czf jpg.tar.gz *.jpg //將目錄里所有jpg文件打包成jpg.tar后，并且將其用gzip壓縮座舍，生成一個gzip壓縮過的包，命名為jpg.tar.gz
tar –cjf jpg.tar.bz2 *.jpg //將目錄里所有jpg文件打包成jpg.tar后桃焕，并且將其用bzip2壓縮买决，生成一個bzip2壓縮過的包，命名為jpg.tar.bz2
tar –cZf jpg.tar.Z *.jpg //將目錄里所有jpg文件打包成jpg.tar后带猴，并且將其用compress壓縮昔汉，生成一個umcompress壓縮過的包，命名為jpg.tar.Z
rar a jpg.rar *.jpg //rar格式的壓縮拴清，需要先下載rar for linux
zip jpg.zip *.jpg //zip格式的壓縮靶病，需要先下載zip for linux
4. 配置環(huán)境變量
/etc/profile /spark_env.sh
HADOOP_HOME=/server/soft/hadoop
HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
YARN_HOME=${HADOOP_HOME}
YARN_CONF_DIR=${YARN_HOME}/etc/hadoop
SCALA_HOME=/server/soft/scala
SPARK_HOME=/server/soft/spark
PATH=$PATH:$SCALA_HOME/bin:$HADOOP_HOME/bin:$SPARK_HOME/bin
export HADOOP_HOME HADOOP_CONF_DIR YARN_HOME YARN_CONF_DIR SCALA_HOME SPARK_HOME PATH
用spark-shell試一下
圖片.png
5. 配置hadoop文件
vi hadoop-env.sh（仍然需要配置環(huán)境變量，不然報錯）
export JAVA_HOME=/server /soft/jdk8
vi core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://L-AP-3-187:9000</value>##hdfs對外訪問目錄
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/server/soft/hadoop/tmp</value> ##必須寫全名路徑
</property>
</configuration>
vi mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
vi yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>L-AP-3-187</value>
</property>
</configuration>
vi slaves
L-AP-3-188
L-AP-3-189
修改完以后將etc/profile和hadoop spark等,scp -r hadoop L-AP-3-188:$PWD到其他機器上
在每臺機器上source /etc/profile,在hadoop home下創(chuàng)建tmp文件夾 mkdir tmp口予，
建議所有文件在master改好以后統(tǒng)一scp到別的節(jié)點
6. 啟動hadoop yarn 集群
a> 格式化name node: hdfs namenode -format
b> sbin/start-dfs.sh #啟動hdfs >>
界面url : L-AP-3-187:50070
L-AP-3-187（master）
圖片.png
L-AP-3-188/L-AP-3-189:
圖片.png
c> sbin/start-yarn.sh #啟動yarn >>
界面url: L-AP-3-187:8088
L-AP-3-187（master）:
圖片.png
L-AP-3-188/L-AP-3-189:
圖片.png
spark集群搭建(standlone集群模式才需要配置)：
在L-AP-3-187：
Spark-env.sh添加環(huán)境變量
Slaves添加work節(jié)點（同yarn）
L-AP-3-187上執(zhí)行腳本：./start-all.sh
L-AP-3-187:多了個master的進程
圖片.png
L-AP-3-188/L-AP-3-189:多了個work的進程
圖片.png
UI：
YARN(application點進去可進入sparkUI)
圖片.png
Spark集群：
圖片.png
