Hadoop總結(jié) 五 配置歷史服務(wù)器 配置集群日志
5.1 配置歷史服務(wù)器
-
配置mapred-site.xml
在該文件中增加如下配置
<!-- 歷史服務(wù)器端地址 --> <property> <name>mapreduce.jobhistory.address</name> <value>hadoop103:10020</value> </property> <!-- 歷史服務(wù)器web端地址 --> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>hadoop103:19888</value> </property> -
分發(fā)配置
xsync $HADOOP_HOME/etc/hadoop/mapred-site.xml -
啟動歷史服務(wù)器
mapred --daemon start historyserver -
查看歷史服務(wù)器是否啟動
jps -
在web端查看Jobhistory
-
關(guān)閉歷史服務(wù)器
mapred --daemon stop historyserver
5.2 配置日志服務(wù)器
-
概述
日志聚集概念：應(yīng)用運(yùn)行完成以后汞舱，將程序運(yùn)行日志信息上傳到HDFS系統(tǒng)上樟澜。
日志聚集功能好處：可以方便的查看到程序運(yùn)行詳情，方便開發(fā)調(diào)試警绩。
注意：開啟日志聚集功能溅话，需要重新啟動NodeManager 晓锻、ResourceManager和HistoryServer。
-
配置yarn-site.xml
在文件中增加
<!-- 開啟日志聚集功能 --> <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> <!-- 設(shè)置日志聚集服務(wù)器地址 --> <property> <name>yarn.log.server.url</name> <value>http://hadoop103:19888/jobhistory/logs</value> </property> <!-- 設(shè)置日志保留時間為7天 --> <property> <name>yarn.log-aggregation.retain-seconds</name> <value>604800</value> </property> -
分發(fā)配置
xsync $HADOOP_HOME/etc/hadoop/yarn-site.xml -
關(guān)閉NameNode,resourceManager,HistoryServer
stop-yarn.sh mapred --daemon stop historyserver -
啟動4.
start-yarn.sh mapred --daemon start historyserver -
刪除HDFS上已經(jīng)存在的輸出文件
hadoop fs -rm -r /output -
執(zhí)行Wordcount程序
hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output -
查看日志
