啟動(dòng)CDH提示Deploy Client configuration fail
原因:
依賴包perl未安裝
yum install -y perl
自用腳本中的yum操作所需依賴包粘衬,僅做參考
yum -Cy install wget bind-utils psmisc libxslt zlib sqlite cyrus-sasl* fuse portmap fuse-libs redhat-lsb
yum -Cy install ntp gcc python-devel psmisc perl
找不到JDK
原因:
CDH不會(huì)使用系統(tǒng)默認(rèn)JAVA_HOME環(huán)境變量欣孤,而是使用Bigtop進(jìn)行管理疑务,故我們需要安裝Bigtop的規(guī)則在指定的位置安裝jdk
配置在這里:
cloudera-manager-centos7-cm5.11.1_x86_64\cm-5.11.1\lib64\cmf\service\common\cloudera-config.sh
其中可以看到:
local JAVA8_HOME_CANDIDATES=(
'/usr/java/jdk1.8'
'/usr/java/jre1.8'
'/usr/lib/jvm/j2sdk1.8-oracle'
'/usr/lib/jvm/j2sdk1.8-oracle/jre'
'/usr/lib/jvm/java-8-oracle'
)
建立一個(gè)已經(jīng)有的JAVA_HOME 鏈接到 /usr/java/jdk1.8
CDH離線安裝組件(如Kudu)
將資源parcel文件行剂、parcel.sha和manifest文件放到/parcel-repo文件夾下翎猛,其中manifest可以共享多個(gè)資源索引
CDH創(chuàng)建Mysql數(shù)據(jù)庫(kù)時(shí)能找到服務(wù)器找不到數(shù)據(jù)庫(kù)
在創(chuàng)建新的數(shù)據(jù)庫(kù)后應(yīng)運(yùn)行以下語句來修改數(shù)據(jù)庫(kù)訪問權(quán)限
mysql -uroot -p1234 -e"GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '1234' WITH GRANT OPTION;FLUSH PRIVILEGES;"
Cloudera 建議將 /proc/sys/vm/swappiness 設(shè)置為最大值 10湿酸。當(dāng)前設(shè)置為 30
echo "vm.swappiness=10" >> /etc/sysctl.conf
已啟用透明大頁面壓縮辜御,可能會(huì)導(dǎo)致重大性能問題
echo "echo never > /sys/kernel/mm/transparent_hugepage/defrag" >> /etc/rc.local
echo "echo never > /sys/kernel/mm/transparent_hugepage/enabled" >> /etc/rc.local
chmod +x /etc/rc.d/rc.local
自啟動(dòng)CDH掛掉
原因:ip地址映射錯(cuò)誤
Mysql服務(wù)未啟動(dòng)
CDH安裝Yarn時(shí)NodeManager啟動(dòng)失敗
Error starting NodeManagerorg.apache.hadoop.service.ServiceStateException:
org.fusesource.leveldbjni.internal.NativeDB$DBException:
IO error: /var/lib/hadoop-yarn/yarn-nm-recovery/yarn-nm-state/LOCK: 權(quán)限不夠
方法一:修改目錄權(quán)限
chmod -R 755 /var/lib/hadoop-yarn/
方法二:刪除該對(duì)應(yīng)子目錄重試CDH添加服務(wù)操作
CDH內(nèi)存不足超過閾值
調(diào)整主機(jī)配置參數(shù) 默認(rèn)0.8 剩余內(nèi)存為系統(tǒng)占用(可調(diào)整優(yōu)化)
CDH NameNode 檢查點(diǎn)錯(cuò)誤
由于某種原因,需要在原來已經(jīng)部署了Cloudera CDH集群上重新部署江耀,重新部署之后凭峡,啟動(dòng)集群,由于Cloudera Manager 會(huì)默認(rèn)設(shè)置dfs.namenode.checkpoint.period和dfs.namenode.checkpoint.txns分別是1個(gè)小時(shí)和1000000决记。只要達(dá)到這兩個(gè)條件之一摧冀,secondarynamenode會(huì)執(zhí)行checkpoint操作,此時(shí)會(huì)出現(xiàn)如下的問題:
ERROR:The health test result for NAME_NODE_HA_CHECKPOINT_AGE
has become bad: The filesystem checkpoint is 4 hour(s) old.
This is 401.25% of the configured checkpoint period of 1 hour(s).
解決方法:
刪除fs.checkpoint.dir, dfs.namenode.checkpoint.dir的值的路徑
在CDH中HDFS配置中搜索checkpoint可以找到(默認(rèn)/dfs/snn)
impala 導(dǎo)入文件報(bào)錯(cuò)
Error parsing row: file: hdfs://master:8020/input3/branchproject.csv, before offset: 1263429
調(diào)整impala內(nèi)存大小