CDH常見問題及解決方法(待續(xù))

啟動(dòng)CDH提示Deploy Client configuration fail

原因:
依賴包perl未安裝

yum install -y perl

自用腳本中的yum操作所需依賴包粘衬,僅做參考

yum -Cy install wget bind-utils psmisc libxslt zlib sqlite cyrus-sasl* fuse portmap fuse-libs redhat-lsb
yum -Cy install ntp gcc python-devel psmisc perl

找不到JDK

原因:
CDH不會(huì)使用系統(tǒng)默認(rèn)JAVA_HOME環(huán)境變量欣孤,而是使用Bigtop進(jìn)行管理疑务,故我們需要安裝Bigtop的規(guī)則在指定的位置安裝jdk
配置在這里:
cloudera-manager-centos7-cm5.11.1_x86_64\cm-5.11.1\lib64\cmf\service\common\cloudera-config.sh
其中可以看到:

local JAVA8_HOME_CANDIDATES=(
'/usr/java/jdk1.8'
'/usr/java/jre1.8'
'/usr/lib/jvm/j2sdk1.8-oracle'
'/usr/lib/jvm/j2sdk1.8-oracle/jre'
'/usr/lib/jvm/java-8-oracle'
)

建立一個(gè)已經(jīng)有的JAVA_HOME 鏈接到 /usr/java/jdk1.8

CDH離線安裝組件(如Kudu)

將資源parcel文件行剂、parcel.sha和manifest文件放到/parcel-repo文件夾下翎猛,其中manifest可以共享多個(gè)資源索引

CDH創(chuàng)建Mysql數(shù)據(jù)庫(kù)時(shí)能找到服務(wù)器找不到數(shù)據(jù)庫(kù)

在創(chuàng)建新的數(shù)據(jù)庫(kù)后應(yīng)運(yùn)行以下語句來修改數(shù)據(jù)庫(kù)訪問權(quán)限

mysql -uroot -p1234 -e"GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '1234' WITH GRANT OPTION;FLUSH PRIVILEGES;"

Cloudera 建議將 /proc/sys/vm/swappiness 設(shè)置為最大值 10湿酸。當(dāng)前設(shè)置為 30

echo "vm.swappiness=10" >> /etc/sysctl.conf

已啟用透明大頁面壓縮辜御,可能會(huì)導(dǎo)致重大性能問題

echo "echo never > /sys/kernel/mm/transparent_hugepage/defrag" >> /etc/rc.local 
echo "echo never > /sys/kernel/mm/transparent_hugepage/enabled" >> /etc/rc.local 
chmod +x /etc/rc.d/rc.local

自啟動(dòng)CDH掛掉

原因:ip地址映射錯(cuò)誤
Mysql服務(wù)未啟動(dòng)

CDH安裝Yarn時(shí)NodeManager啟動(dòng)失敗

Error starting NodeManagerorg.apache.hadoop.service.ServiceStateException: 
org.fusesource.leveldbjni.internal.NativeDB$DBException: 
IO error: /var/lib/hadoop-yarn/yarn-nm-recovery/yarn-nm-state/LOCK: 權(quán)限不夠

方法一:修改目錄權(quán)限
chmod -R 755 /var/lib/hadoop-yarn/
方法二:刪除該對(duì)應(yīng)子目錄重試CDH添加服務(wù)操作

CDH內(nèi)存不足超過閾值

調(diào)整主機(jī)配置參數(shù) 默認(rèn)0.8 剩余內(nèi)存為系統(tǒng)占用(可調(diào)整優(yōu)化)

CDH NameNode 檢查點(diǎn)錯(cuò)誤

由于某種原因,需要在原來已經(jīng)部署了Cloudera CDH集群上重新部署江耀,重新部署之后凭峡,啟動(dòng)集群,由于Cloudera Manager 會(huì)默認(rèn)設(shè)置dfs.namenode.checkpoint.period和dfs.namenode.checkpoint.txns分別是1個(gè)小時(shí)和1000000决记。只要達(dá)到這兩個(gè)條件之一摧冀,secondarynamenode會(huì)執(zhí)行checkpoint操作,此時(shí)會(huì)出現(xiàn)如下的問題:

ERROR:The health test result for NAME_NODE_HA_CHECKPOINT_AGE
  has become bad: The filesystem checkpoint is 4 hour(s) old. 
This is 401.25% of the configured checkpoint period of 1 hour(s).

解決方法:
刪除fs.checkpoint.dir, dfs.namenode.checkpoint.dir的值的路徑
在CDH中HDFS配置中搜索checkpoint可以找到(默認(rèn)/dfs/snn)

impala 導(dǎo)入文件報(bào)錯(cuò)

Error parsing row: file: hdfs://master:8020/input3/branchproject.csv, before offset: 1263429

調(diào)整impala內(nèi)存大小

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市索昂,隨后出現(xiàn)的幾起案子建车,更是在濱河造成了極大的恐慌,老刑警劉巖椒惨,帶你破解...
    沈念sama閱讀 216,372評(píng)論 6 498
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件缤至,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡康谆,警方通過查閱死者的電腦和手機(jī)领斥,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,368評(píng)論 3 392
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來沃暗,“玉大人月洛,你說我怎么就攤上這事∧踝叮” “怎么了嚼黔?”我有些...
    開封第一講書人閱讀 162,415評(píng)論 0 353
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)惜辑。 經(jīng)常有香客問我唬涧,道長(zhǎng),這世上最難降的妖魔是什么盛撑? 我笑而不...
    開封第一講書人閱讀 58,157評(píng)論 1 292
  • 正文 為了忘掉前任碎节,我火速辦了婚禮,結(jié)果婚禮上抵卫,老公的妹妹穿的比我還像新娘狮荔。我一直安慰自己,他們只是感情好陌僵,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,171評(píng)論 6 388
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著创坞,像睡著了一般碗短。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上题涨,一...
    開封第一講書人閱讀 51,125評(píng)論 1 297
  • 那天偎谁,我揣著相機(jī)與錄音,去河邊找鬼纲堵。 笑死巡雨,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的席函。 我是一名探鬼主播铐望,決...
    沈念sama閱讀 40,028評(píng)論 3 417
  • 文/蒼蘭香墨 我猛地睜開眼,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來了正蛙?” 一聲冷哼從身側(cè)響起督弓,我...
    開封第一講書人閱讀 38,887評(píng)論 0 274
  • 序言:老撾萬榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎乒验,沒想到半個(gè)月后愚隧,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,310評(píng)論 1 310
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡锻全,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,533評(píng)論 2 332
  • 正文 我和宋清朗相戀三年狂塘,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片鳄厌。...
    茶點(diǎn)故事閱讀 39,690評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡荞胡,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出部翘,到底是詐尸還是另有隱情硝训,我是刑警寧澤,帶...
    沈念sama閱讀 35,411評(píng)論 5 343
  • 正文 年R本政府宣布新思,位于F島的核電站窖梁,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏夹囚。R本人自食惡果不足惜纵刘,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,004評(píng)論 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望荸哟。 院中可真熱鬧假哎,春花似錦、人聲如沸鞍历。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,659評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽劣砍。三九已至惧蛹,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間刑枝,已是汗流浹背香嗓。 一陣腳步聲響...
    開封第一講書人閱讀 32,812評(píng)論 1 268
  • 我被黑心中介騙來泰國(guó)打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留装畅,地道東北人靠娱。 一個(gè)月前我還...
    沈念sama閱讀 47,693評(píng)論 2 368
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像掠兄,于是被迫代替她去往敵國(guó)和親像云。 傳聞我的和親對(duì)象是個(gè)殘疾皇子锌雀,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,577評(píng)論 2 353

推薦閱讀更多精彩內(nèi)容

  • 翻譯:https://www.cloudera.com/documentation/enterprise/late...
    金剛_30bf閱讀 4,194評(píng)論 1 0
  • CentOS7下安裝Hadoop集群 ——CM百框,CDH集成環(huán)境 本次實(shí)驗(yàn)主要參考文獻(xiàn): 老師給的word幫助文...
    小星star閱讀 6,365評(píng)論 0 4
  • service cloudera-scm-server status /opt/cloudera/cm/lib ...
    nightwish夜愿閱讀 1,316評(píng)論 0 3
  • 前言 因?yàn)閏dh版本更新頻率較快闲礼,各個(gè)小版本之間變化可能不是很大,但是Cloudera公司的每一次更新帶來的都是b...
    jhonshonjs閱讀 3,969評(píng)論 0 3
  • “講個(gè)笑話铐维,你可別哭”柬泽,聽了一遍主題曲“我要你”,就沖這兩個(gè)元素嫁蛇,我就是想要去看《驢得水》锨并。 我想一個(gè)人去看一場(chǎng)電...
    初之閱讀 332評(píng)論 0 0