運(yùn)行完成的任務(wù)日志收集
運(yùn)行結(jié)束的日志會自動歸集到hdfs日志目錄:/tmp/logs/*/logs/appid路徑下,需要使用hdfs客戶端進(jìn)行日志收集。
- 步驟一:
首先在yarn上找到停止的任務(wù)的appid(可以)唉侄,格式為applications_xxxxx_xxxx,狀態(tài)為Finished - 步驟二:進(jìn)入大數(shù)據(jù)客戶端安裝目錄
cd /opt/hadoopclient - 步驟三:加載客戶端環(huán)境變量
source bigdata_env - 步驟四:認(rèn)證用戶admin
kinit admin - 步驟五:使用hdfs獲取日志执庐,存放到當(dāng)前路徑贰镣。(applications_xxxxx_xxxx,是我們首先獲取到任務(wù)appid)
hdfs dfs -get /tmp/logs/*/logs/applications_xxxxx_xxxx .