問(wèn)題描述:一個(gè)hbase集群出現(xiàn)數(shù)據(jù)傾斜,并且服務(wù)器經(jīng)常會(huì)宕機(jī)
問(wèn)題解決:登錄60010界面查看region的分布情況,發(fā)現(xiàn)region分布不均衡
同時(shí)Regions in Transiton報(bào)如下問(wèn)題:
重啟master server 問(wèn)題依舊
執(zhí)行assign 'REGIONNAME'命令后問(wèn)題依舊
同時(shí)查看該region所在regionserver的信息發(fā)現(xiàn)報(bào)如下錯(cuò)誤
發(fā)現(xiàn)是有一個(gè)phoenix表的那個(gè)region一直加載不了,確定我們沒(méi)有用到phoenix管搪,找到該region的editlog刪除掉后重新assign,就不報(bào)Regions in Transition信息了
過(guò)一會(huì)查看region分布情況如下,region分布算是均衡了
查看dn列表
發(fā)現(xiàn)還是有些服務(wù)器的數(shù)據(jù)還是比較多行施,找出存儲(chǔ)較大的表,并且查看這些表的region大小魂那,發(fā)現(xiàn)數(shù)據(jù)還算均衡
對(duì)這些大表執(zhí)行major_compact過(guò)段時(shí)間看dn列表中的數(shù)據(jù)情況發(fā)現(xiàn)有所緩解
總結(jié):數(shù)據(jù)不均衡的問(wèn)題主要是有一個(gè)phoenix表的那個(gè)region一直加載不了蛾号,導(dǎo)致hbase balancer啟動(dòng)不了,phoenix版本和hbase不適配還會(huì)造成服務(wù)器偶爾宕機(jī)涯雅,經(jīng)過(guò)刪除有問(wèn)題region的editlog鲜结,重新assign可恢復(fù),同時(shí)每天晚上對(duì)一些大表進(jìn)行major_compact可以緩解數(shù)據(jù)傾斜的情況