1.hadoop采集的字符集問題
修改/etc/sysconfig/i18n 更改字符集為en_US.UTF-8 重啟機器生效。
?重啟機器的指令為:在root下敲入如下指令:sync;sync;init 6
2.修改mapreduce 在gateway/性能下修改:
MapReduce 子 Java 基礎(chǔ)選項 湾盒、Map 任務(wù) Java 選項庫 监署、Reduce 任務(wù) Java 選項庫 全部配置成 -Xmx4294967296
在TASKTRACKER/性能下修改:MapReduce 子 Java 基礎(chǔ)選項 爱谁、Map 任務(wù) Java 選項庫 绕娘、Reduce 任務(wù) Java 選項庫 全部配置成 -Xmx4294967296
3.redis掛死青扔,導(dǎo)致無法采集
#現(xiàn)象
?redis.clients.jedis.exceptions.JedisDataException:
MISCONF Redis is configured to save RDB snapshots,
?but is currently not able to persist on disk.
啟動客戶端: /usr/local/redis/redis-cli
輸入: config set stop-writes-on-bgsave-error no
4.zookeeper無法啟動 處理辦法:
到master主機的/var/lib/zookeeper锯七,刪除所有的文件链快,重啟zookeeper即可。
sudo mkdir version-2
sudo chown -R zookeeper:zookeeper version-2
5.如果datanode連接不上namenode眉尸,導(dǎo)致datanode無法啟動域蜗。
報錯:ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Call to … failed on local exception: java.net.NoRouteToHostException: No route to host 關(guān)閉防火墻
輸入:service iptables stop
6.集群一些易錯問題
錯誤現(xiàn)象:namenode in safe mode.
原因:hadoop進入安全模式。
?解決方法:在shell中執(zhí)行命令hadoop dfsadmin -safemode leave 使hadoop離開安全模式噪猾。
7.防火墻一定記得查看C够觥!袱蜡!
錯誤現(xiàn)象:java.net.NoRouteToHostException: No route to host.
?原因:master服務(wù)器上的防火墻沒有關(guān)閉丝蹭。
?解決方法: 在master上關(guān)閉防火墻: chkconfig iptables off.
8.虛擬機內(nèi)存設(shè)置
問題:java.lang.OutOfMemoryError: Java heap space
原因:出現(xiàn)這種異常,明顯是 jvm 內(nèi)存不夠得原因坪蚁,要修改所有的 datanode 的 jvm 內(nèi)存大小奔穿。
解決:執(zhí)行命令Java -Xms1024m -Xmx4096m一般 jvm 的最大內(nèi)存使用應(yīng)該為總內(nèi)存大小的一半,我們使用的 8G 內(nèi)存迅细,所以設(shè)置為 4096m巫橄,這一值可能依舊不是最優(yōu)的值。
?????? 作為一個小白茵典,可能有些問題不是那么深湘换。都是一些較為常見的問題,路過的大佬,多多指教彩倚!