1议蟆、java.net.NoRouteToHostException: No route to host?
解決方法：zookeeper的IP要配對(duì)?
2葱淳、Failed to locate the winutils binary in the hadoop binary path?
解決方法:先安裝好hadoop?
3隐解、CALL TO LOCALHOST/127.0.0.1:9000?
解決方法：host配置正確，/etc/sysconfig/network??? /etc/hosts??? /etc/sysconfig/network-scripts/ifcfg-eth0?
4嗡载、打開(kāi)namenode:50070頁(yè)面惩琉，Datanode Infomation只顯示一個(gè)節(jié)點(diǎn)?
解決方法：SSH配置錯(cuò)誤導(dǎo)致狸膏，主機(jī)名一定要嚴(yán)格匹配荚虚，重新配置ssh免密碼登錄?
5、建議：不要隨意格式化HDFS良蒸，這會(huì)帶來(lái)數(shù)據(jù)版本不一致等諸多問(wèn)題疑俭，格式化前要清空數(shù)據(jù)文件夾?
6粮呢、namenode1: ssh: connect to host namenode1 port 22: Connection refused?
解決方法：sshd被關(guān)閉或沒(méi)安裝導(dǎo)致，which sshd檢查是否安裝钞艇，若已經(jīng)安裝啄寡，則sshd restart，并ssh 本機(jī)hostname哩照，檢查是否連接成功?
7挺物、Log aggregation has not completed or is not enabled.?
解決方法：在yarn-site.xml中增加相應(yīng)配置，以支持日志聚合?
8飘弧、Exception in thread "main" org.apache.spark.SparkException: Yarn application has already ended! It might have been killed or unable to launch application master.?
解決方法：yarn-lient模式出現(xiàn)的異常识藤，暫時(shí)無(wú)解?
9、hadoop的文件不能下載以及YARN中Tracking UI不能訪問(wèn)歷史日志?
解決方法：windows系統(tǒng)不能解析域名所致次伶，把hosts文件hostname復(fù)制到windows的hosts中?
10痴昧、建議：HDFS文件路徑寫(xiě)法為：hdfs://master:9000/文件路徑，這里的master是namenode的hostname,9000是hdfs端口號(hào)冠王。?
11赶撰、Yarn JobHistory Error: Failed redirect for container?
解決方法：將 http://:19888/jobhistory/logs? 配置到y(tǒng)arn-site.xml中，重啟yarn和JobHistoryServer?
12版确、通過(guò)hadoop UI訪問(wèn)hdfs文件夾時(shí)扣囊，出現(xiàn)提示 Permission denied: user=dr.who?
解決方法：namonode節(jié)點(diǎn)終端執(zhí)行：hdfs dfs -chmod -R 755 /?
13、建議：提交到y(tǒng)arn cluster的作業(yè)不能直接print到控制臺(tái)绒疗，要用log4j輸出到日志文件中?
14侵歇、log4j:WARN Unsupported encoding?
解決方法：1.把UTF改成小寫(xiě)utf-8??? 2.設(shè)置編碼那行有空格?
15、 ERROR ApplicationMaster: SparkContext did not initialize after waiting for 100000 ms. Please check earlier log output for errors. Failing the application
解決方法：資源不能分配過(guò)大,或者沒(méi)有把.setMaster("local")去掉
16吓蘑、Yarn的RM單點(diǎn)故障?
解決方法：通過(guò)三節(jié)點(diǎn)zookeeper集群和yarn-site.xml配置文件完成Yarn HA?
17惕虑、Yarn HA環(huán)境下坟冲，通過(guò)web訪問(wèn)history日志被跳轉(zhuǎn)到8088而無(wú)法顯示?
解決方法：恢復(fù)Yarn Http默認(rèn)端口8088?
18、Using config: /work/poa/zookeeper-3.4.6/bin/../conf/zoo.cfg? Error contacting service. It is probably not running.?
解決方法：配置文件不正確溃蔫，例如hostname不匹配等?
19健提、linux服務(wù)器磁盤(pán)爆滿，檢查超過(guò)指定大小的文件?
解決方法：find / -type f -size +10G??
20伟叛、HADOOP 磁盤(pán)滿的各節(jié)點(diǎn)平衡?
解決方法：運(yùn)行指令hdfs balancer -Threshold 3 或者 運(yùn)行 start-balancer.sh 腳本格式：$Hadoop_home/bin/start-balancer.sh -threshold私痹，參數(shù)3是比例參數(shù)，表示3%统刮，也就是平各個(gè)DataNode直接磁盤(pán)使用率偏差在3%以內(nèi)?
21紊遵、建議：數(shù)據(jù)傾斜只發(fā)生在shuffle過(guò)程，可能觸發(fā)shuffle操作的算子有：distinct? groupByKey? reduceByKey? aggregateByKey? join? cogroup? repartition等?
22侥蒙、啟動(dòng)hadoop yarn,發(fā)現(xiàn)只啟動(dòng)了ResourceManager暗膜，沒(méi)有啟動(dòng)NodeManager?
解決方法：yarn-site.xml配置有問(wèn)題，檢查并規(guī)范各項(xiàng)配置?
23鞭衩、如何查看hadoop系統(tǒng)日志?
解決方法：Hadoop 2.x中YARN系統(tǒng)的服務(wù)日志包括ResourceManager日志和各個(gè)NodeManager日志学搜，它們的日志位置如下：ResourceManager日志存放位置是Hadoop安裝目錄下的logs目錄下的yarn-*-resourcemanager-*.log，NodeManager日志存放位置是各個(gè)NodeManager節(jié)點(diǎn)上hadoop安裝目錄下的logs目錄下的yarn-*-nodemanager-*.log?
24论衍、建議：小于128M的小文件都會(huì)占據(jù)一個(gè)128M的BLOCK瑞佩，合并或者刪除小文件節(jié)省磁盤(pán)空間?
25、how to remove Non DFS Used?
解決方法：1）清除hadoop數(shù)據(jù)目錄中用戶緩存文件：cd /data/hadoop/storage/tmp/nm-local-dir/usercache;du -h;rm -rf `find? -type f -size +10M`;? 2）清理Linux文件系統(tǒng)中的垃圾數(shù)據(jù)?
26饲齐、linux profile配置文件隔離?
解決方法：cd /etc/profile.d;在這里新建相應(yīng)配置腳本?
27钉凌、啟動(dòng)yarn咧最，發(fā)現(xiàn)只啟動(dòng)了部分Nodemanager?
解決方法：未啟動(dòng)的節(jié)點(diǎn)缺少yarn相關(guān)包捂人，要保持所有節(jié)點(diǎn)jar包一致?
28、HDFS誤刪文件如何恢復(fù)解決方法：core-site文件中加入?
???? fs.trash.interval?
???? 2880?
???? HDFS垃圾箱設(shè)置矢沿，可以恢復(fù)誤刪除滥搭，配置的值為分鐘數(shù)，0為禁用?
恢復(fù)文件執(zhí)行 hdfs dfs -mv? /user/root/.Trash/Current/誤刪文件??? /原路徑?
29捣鲸、改了linux定時(shí)腳本里邊部分任務(wù)順序瑟匆，導(dǎo)致有些任務(wù)未執(zhí)行，而有些重復(fù)執(zhí)行?
解決方法：Linux腳本修改后實(shí)時(shí)生效栽惶，務(wù)必在腳本全部執(zhí)行完再修改愁溜，以免產(chǎn)生副作用?
