大數(shù)據(jù)運(yùn)維問(wèn)題記錄(八)

問(wèn)題描述:一個(gè)hbase集群出現(xiàn)數(shù)據(jù)傾斜,并且服務(wù)器經(jīng)常會(huì)宕機(jī)
問(wèn)題解決:登錄60010界面查看region的分布情況,發(fā)現(xiàn)region分布不均衡

Paste_Image.png

同時(shí)Regions in Transiton報(bào)如下問(wèn)題:

Paste_Image.png

重啟master server 問(wèn)題依舊
執(zhí)行assign 'REGIONNAME'命令后問(wèn)題依舊
同時(shí)查看該region所在regionserver的信息發(fā)現(xiàn)報(bào)如下錯(cuò)誤

Paste_Image.png
Paste_Image.png

發(fā)現(xiàn)是有一個(gè)phoenix表的那個(gè)region一直加載不了,確定我們沒(méi)有用到phoenix管搪,找到該region的editlog刪除掉后重新assign,就不報(bào)Regions in Transition信息了
過(guò)一會(huì)查看region分布情況如下,region分布算是均衡了

Paste_Image.png

查看dn列表

Paste_Image.png

發(fā)現(xiàn)還是有些服務(wù)器的數(shù)據(jù)還是比較多行施,找出存儲(chǔ)較大的表,并且查看這些表的region大小魂那,發(fā)現(xiàn)數(shù)據(jù)還算均衡

Paste_Image.png

對(duì)這些大表執(zhí)行major_compact過(guò)段時(shí)間看dn列表中的數(shù)據(jù)情況發(fā)現(xiàn)有所緩解

Paste_Image.png

總結(jié):數(shù)據(jù)不均衡的問(wèn)題主要是有一個(gè)phoenix表的那個(gè)region一直加載不了蛾号,導(dǎo)致hbase balancer啟動(dòng)不了,phoenix版本和hbase不適配還會(huì)造成服務(wù)器偶爾宕機(jī)涯雅,經(jīng)過(guò)刪除有問(wèn)題region的editlog鲜结,重新assign可恢復(fù),同時(shí)每天晚上對(duì)一些大表進(jìn)行major_compact可以緩解數(shù)據(jù)傾斜的情況

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市精刷,隨后出現(xiàn)的幾起案子拗胜,更是在濱河造成了極大的恐慌,老刑警劉巖怒允,帶你破解...
    沈念sama閱讀 211,042評(píng)論 6 490
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件埂软,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡纫事,警方通過(guò)查閱死者的電腦和手機(jī)仰美,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 89,996評(píng)論 2 384
  • 文/潘曉璐 我一進(jìn)店門(mén),熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)儿礼,“玉大人咖杂,你說(shuō)我怎么就攤上這事∥梅颍” “怎么了诉字?”我有些...
    開(kāi)封第一講書(shū)人閱讀 156,674評(píng)論 0 345
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)知纷。 經(jīng)常有香客問(wèn)我壤圃,道長(zhǎng),這世上最難降的妖魔是什么琅轧? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 56,340評(píng)論 1 283
  • 正文 為了忘掉前任伍绳,我火速辦了婚禮,結(jié)果婚禮上乍桂,老公的妹妹穿的比我還像新娘冲杀。我一直安慰自己,他們只是感情好睹酌,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,404評(píng)論 5 384
  • 文/花漫 我一把揭開(kāi)白布权谁。 她就那樣靜靜地躺著,像睡著了一般憋沿。 火紅的嫁衣襯著肌膚如雪旺芽。 梳的紋絲不亂的頭發(fā)上,一...
    開(kāi)封第一講書(shū)人閱讀 49,749評(píng)論 1 289
  • 那天辐啄,我揣著相機(jī)與錄音采章,去河邊找鬼。 笑死壶辜,一個(gè)胖子當(dāng)著我的面吹牛悯舟,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播士复,決...
    沈念sama閱讀 38,902評(píng)論 3 405
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼图谷,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼翩活!你這毒婦竟也來(lái)了阱洪?” 一聲冷哼從身側(cè)響起便贵,我...
    開(kāi)封第一講書(shū)人閱讀 37,662評(píng)論 0 266
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎冗荸,沒(méi)想到半個(gè)月后承璃,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 44,110評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡蚌本,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,451評(píng)論 2 325
  • 正文 我和宋清朗相戀三年盔粹,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片程癌。...
    茶點(diǎn)故事閱讀 38,577評(píng)論 1 340
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡舷嗡,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出嵌莉,到底是詐尸還是另有隱情进萄,我是刑警寧澤,帶...
    沈念sama閱讀 34,258評(píng)論 4 328
  • 正文 年R本政府宣布锐峭,位于F島的核電站中鼠,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏沿癞。R本人自食惡果不足惜援雇,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,848評(píng)論 3 312
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望椎扬。 院中可真熱鬧惫搏,春花似錦、人聲如沸蚕涤。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 30,726評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)钻趋。三九已至川陆,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間蛮位,已是汗流浹背较沪。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 31,952評(píng)論 1 264
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留失仁,地道東北人尸曼。 一個(gè)月前我還...
    沈念sama閱讀 46,271評(píng)論 2 360
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像萄焦,于是被迫代替她去往敵國(guó)和親控轿。 傳聞我的和親對(duì)象是個(gè)殘疾皇子冤竹,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,452評(píng)論 2 348

推薦閱讀更多精彩內(nèi)容