主要記錄實(shí)際項(xiàng)目中遇到問題以及解決方式佳吞。
1铸抑、偽分布式部署時(shí)，若core-site.xml文件中采用如下圖所示配置至耻，其他應(yīng)用與Hadoop非部署在同一臺(tái)服務(wù)器時(shí)兜辞，其他應(yīng)用會(huì)無法連上Hadoop。 ? ?
? ? 原因：這種情況下粹污，外部訪問時(shí)會(huì)將datanode地址解析為127.0.0.1段多，導(dǎo)致應(yīng)用無法正常連上Hadoop。將0.0.0.0修改為實(shí)際IP即可壮吩。
2进苍、Hadoop的datanode節(jié)點(diǎn)分配較大存儲(chǔ)空間（40TB以上）或者存儲(chǔ)較多文件時(shí)，重啟服務(wù)器鸭叙，Hadoop初始化速度會(huì)比較慢觉啊。若服務(wù)器重啟時(shí)應(yīng)用與Hadoop同時(shí)啟動(dòng)，可能會(huì)出現(xiàn)應(yīng)用連接Hadoop失敗沈贝，這個(gè)時(shí)候需要應(yīng)用去重復(fù)鏈接或者等Hadoop初始化完成后再啟動(dòng)應(yīng)用柄延。
3、多次格式化后無法正常啟動(dòng)datanode節(jié)點(diǎn)
查看datanode節(jié)點(diǎn)日志信息缀程，報(bào)錯(cuò)如下：
原因：多次格式化造成datanode的clusterID和namenode的clusterID不匹配。
解決辦法：
根據(jù)日志中的路徑市俊，cd?/home/hadoop/tmp/dfs
能看到data和name兩個(gè)文件夾杨凑，
將name/current下的VERSION中的clusterID復(fù)制到data/current下的VERSION中，覆蓋掉原來的clusterID（對(duì)datanode節(jié)點(diǎn)操作）
4摆昧、Non DFS Used占用空間變大
現(xiàn)象：通過http://IP:50070 發(fā)現(xiàn)NonDFS Used占用空間變大
原因：集群?jiǎn)⒂昧薶istoryserver撩满，這個(gè)進(jìn)程在刪除臨時(shí)文件后沒有釋放文件句柄，導(dǎo)致Non DFS Used空間增大
解決方式：
? ? 1）绅你、重啟hadoop的historyserver
? ? 2）伺帘、mr-jobhistory-daemon.sh start historyserver
? ? 3）、重啟dfs
5忌锯、單機(jī)部署時(shí)通過服務(wù)自啟動(dòng)的方式啟動(dòng)Hadoop服務(wù)伪嫁，有時(shí)候服務(wù)器斷電會(huì)出現(xiàn)Hadoop節(jié)點(diǎn)未起來。
報(bào)錯(cuò)日志：
服務(wù)自啟動(dòng)腳本：
解決方式：未解決
