https://www.acfun.cn/a/ac10294589(免費(fèi)教程)
這里是實(shí)際項目CDH安裝過程中的一部分錯誤舒岸,如果大家也有類似的問題灼伤,可以查閱葛躏。更多的信息可以訪問itstaredu.com官網(wǎng)進(jìn)行學(xué)習(xí)和查看叼丑。
Q:
java.io.IOException: the path component: '/var' is world-writable. ?Its permissions are 0666. ?Please fix this or select a different socket path
A:
chmod 0555 /var
Q:
CDHjava.io.FileNotFoundException varloghadoop-hdfsSecurityAuth-hdfs.audit (Permission denied)
A:
將對應(yīng)的HDFS用戶修改成全權(quán)限扯罐。
Q:
CDH安裝失敗了讼积,如何重新安裝
A:
刪除Agent節(jié)點(diǎn)的UUID
rm -rf /opt/cm-5.12.0/lib/cloudera-scm-agent/*
清空主節(jié)點(diǎn)CM數(shù)據(jù)庫
進(jìn)入主節(jié)點(diǎn)的Mysql數(shù)據(jù)庫肥照,然后drop database cm;
刪除Agent節(jié)點(diǎn)namenode和datanode節(jié)點(diǎn)信息
?????# rm -rf ?/dfs/nn/*
?????# rm -rf ?/dfs/dn/*
在主節(jié)點(diǎn)上重新初始化CM數(shù)據(jù)庫
?????# /opt/cm-5.4.7/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -p123456 --scm-host localhost scm scm scm
執(zhí)行啟動腳本
主節(jié)點(diǎn):# /opt/cm-5.4.7/etc/init.d/cloudera-scm-server start
?????Agent節(jié)點(diǎn):# /opt/cm-5.4.7/etc/init.d/cloudera-scm-agent start
過一會兒,即可通過主節(jié)點(diǎn)的7180端口重新進(jìn)行CDH的安裝 http://主節(jié)點(diǎn)IP:7180/cmf/login
注意:在安裝hive和oozie的過程中勤众,都需要Mysql的JDBC驅(qū)動舆绎。
Hive的拷貝位置為:# cp /opt/cm-5.12.0/share/cmf/lib/mysql-connector-java-5.1.33-bin.jar /opt/cloudera/parcels/CDH-5.4.7-1.cdh5.4.7.p0.3/lib/hive/lib/
Oozie的拷貝位置為:# cp /opt/cm-5.12.0/share/cmf/lib/mysql-connector-java-5.1.33-bin.jar /var/lib/oozie/
Q:
部分節(jié)點(diǎn)不受管控
A:
查看數(shù)據(jù)庫:
mysql> select * from HOSTS;
發(fā)現(xiàn)host的uuid重復(fù)。
解決方法们颜,刪掉重復(fù)的UUID即可吕朵。
Q:
訪問Storm ui界面,出現(xiàn)org.apache.thrift7.transport.TTransportException java.net.ConnectException Connection refused的問題解決(圖文詳解)
A:
沒有開啟storm drpc 服務(wù)窥突。在配置文件里面指定drpc服務(wù)努溃,然后啟動。Storm drpc
Q:
解決SecureCRT無法用非root賬號登錄ssh
The server has disconnected with an error. ?Server message reads:
A protocol error occurred. Change of username or service not allowed: (root,ssh-connection) -> (zoujiaqing,ssh-connection)
A:
選項?-> 會話選項 -> 連接 -> SSH2 -> 用戶名
修改后登錄正常阻问,這樣可以禁用服務(wù)器的ROOT登錄了(為了安全)茅坛。
Q:
kylin啟動報錯
A:
想要kafka和java進(jìn)行整合,然后重新啟動kylin,發(fā)現(xiàn)報錯贡蓖。將對應(yīng)的jar包放到了$KYLIN_HOME/lib 下曹鸠。導(dǎo)致報錯。他會將lib下所有jar包導(dǎo)入斥铺。除了Kylin默認(rèn)的jar包彻桃,其他的jar包全部刪除。
Q:
Hive啟動報錯Caused by MetaException message Version information not found in metastore
A:
在CDH中配置:
datanucleus.autoCreateSchema=true
datanucleus.metadata.validate=false
hive.metastore.schema.verification=false
Q:
Spark java.lang.UnsatisfiedLinkError org.apache.hadoop.util.NativeCrc32
A:
1. 重新下載并配置Spark預(yù)編譯好的對應(yīng)的Hadoop版本
2. 從官網(wǎng)上下載Spark源碼按照預(yù)裝好的Hadoop版本進(jìn)行編譯(畢竟Spark的配置比Hadoop輕松不少)晾蜘。