yarn安裝與測試
1、配置計算調(diào)度系統(tǒng)Yarn和計算引擎Map/Reduce
2颁井、在namenode上配置mapred-site.xml
1 <property>
2 <name>mapreduce.framework.name</name>
3 <value>yarn</value>
4 </property>
3谷炸、yarn-site.xml的配置
1 <property>
2 <name>yarn.resourcemanager.hostname</name>
3 <value>master</value>
4 </property>
5 <property>
6 <name>yarn.nodemanager.aux-services</name>
7 <value>mapreduce_shuffle</value>
</property>
8 <property>
9 <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
10 <value>org.apache.hadoop.mapred.ShuffleHandler</value>
11 </property>
4、啟動yarn集群
start-yarn.sh
5垄开、jps觀察啟動結(jié)果
jps
6剃幌、可以使用yarn-daemon.sh單獨(dú)啟動resourcemanager和nodemanager
7聋涨、通過網(wǎng)頁http://master:8088/觀察yarn集群
8、find /usr/local/hadoop -name example.jar 查找示例文件
9负乡、通過hadoop jar xxx.jar wordcount /input /output來運(yùn)行示例程序
(Java中有許多的事例程序他們是專門用來提供算法運(yùn)算的例如wordcount是用來計算單詞出現(xiàn)的次數(shù)的)
10牛郑、通過網(wǎng)頁來觀察該job的運(yùn)行情況
11、經(jīng)驗：yarn-site如果是集中啟動敬鬓，其實只需要在管理機(jī)上配置一份即可淹朋，但是如果單獨(dú)啟動笙各，需要每臺機(jī)器一份，在網(wǎng)頁上可以看到當(dāng)前機(jī)器的配置础芍，以及這個配置的來源
