hbase優(yōu)化

1然磷、內(nèi)存

年輕代年輕代最大值

java -Xmx256M -Xms256m -XX:NewSize=xxm -XX:MaxNewSize=xxm

java -XX:+UseParNewGC // 使用并行年輕代垃圾回收策略

2娜谊、修改內(nèi)存儲的清理閥值

hbase.hregion.memstore.flush.size

3府树、內(nèi)存儲的容量

hbase.regionserver.global.memstore.size

4容诬、啟動壓縮,需要確保所有的rs都安裝了所需要的壓縮類庫盲赊,尤其注意lzo和snappy

$hbase>create 'ns1:t9',{NAME=>'cf1',COMPRESSION=>'snappy'}

5坦胶、關(guān)閉自動拆分

hbase.hregion.max.filesize=10G

6、熱點(diǎn)區(qū)域赎败,通過move將region移動到指定rs

7秕衙、預(yù)拆分

創(chuàng)建表時直接指定拆分范圍

$hbase>?create 'ns1:t10','cf1',SPLITS=>['10','20','30']

同一張表count,分區(qū)前是90s僵刮,分區(qū)后十幾秒,性能提升明顯

8鹦牛、merge

merge_region 'ENCODED_REGIONNAME', 'ENCODED_REGIONNAME'


客戶端API優(yōu)化手段

1搞糕、關(guān)閉自動清理

HTable.setAutoFlush(false);

HTable.flushCommit();

HTable.close();

2、設(shè)置scan的cache

scan.setCaching(1000);

3曼追、限定column family(最好一個列族)

4窍仰、預(yù)分區(qū),設(shè)置startkey 和endkey

5礼殊、設(shè)置filter

6驹吮、關(guān)閉WAL

put.setWriteToWAL(false);


配置優(yōu)化

1针史、zk的超時設(shè)定

zookeeper.session.timeout=3分鐘

2、設(shè)置處理線程

hbase.regionserver.handler.count=

3碟狞、設(shè)置hbase堆大小

[hbase-env.sh]

export HBASE_HEAPSIZE=1G

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末啄枕,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子族沃,更是在濱河造成了極大的恐慌频祝,老刑警劉巖,帶你破解...
    沈念sama閱讀 218,386評論 6 506
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件脆淹,死亡現(xiàn)場離奇詭異常空,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)盖溺,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,142評論 3 394
  • 文/潘曉璐 我一進(jìn)店門漓糙,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人烘嘱,你說我怎么就攤上這事兼蜈。” “怎么了拙友?”我有些...
    開封第一講書人閱讀 164,704評論 0 353
  • 文/不壞的土叔 我叫張陵为狸,是天一觀的道長。 經(jīng)常有香客問我遗契,道長辐棒,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,702評論 1 294
  • 正文 為了忘掉前任牍蜂,我火速辦了婚禮漾根,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘鲫竞。我一直安慰自己辐怕,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,716評論 6 392
  • 文/花漫 我一把揭開白布从绘。 她就那樣靜靜地躺著寄疏,像睡著了一般。 火紅的嫁衣襯著肌膚如雪僵井。 梳的紋絲不亂的頭發(fā)上陕截,一...
    開封第一講書人閱讀 51,573評論 1 305
  • 那天,我揣著相機(jī)與錄音批什,去河邊找鬼农曲。 笑死,一個胖子當(dāng)著我的面吹牛驻债,可吹牛的內(nèi)容都是我干的乳规。 我是一名探鬼主播形葬,決...
    沈念sama閱讀 40,314評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼暮的!你這毒婦竟也來了笙以?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,230評論 0 276
  • 序言:老撾萬榮一對情侶失蹤青扔,失蹤者是張志新(化名)和其女友劉穎源织,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體微猖,經(jīng)...
    沈念sama閱讀 45,680評論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡谈息,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,873評論 3 336
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了凛剥。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片侠仇。...
    茶點(diǎn)故事閱讀 39,991評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖犁珠,靈堂內(nèi)的尸體忽然破棺而出逻炊,到底是詐尸還是另有隱情,我是刑警寧澤犁享,帶...
    沈念sama閱讀 35,706評論 5 346
  • 正文 年R本政府宣布余素,位于F島的核電站,受9級特大地震影響炊昆,放射性物質(zhì)發(fā)生泄漏桨吊。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,329評論 3 330
  • 文/蒙蒙 一凤巨、第九天 我趴在偏房一處隱蔽的房頂上張望视乐。 院中可真熱鬧,春花似錦敢茁、人聲如沸佑淀。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,910評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽伸刃。三九已至,卻和暖如春僧叉,著一層夾襖步出監(jiān)牢的瞬間奕枝,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,038評論 1 270
  • 我被黑心中介騙來泰國打工瓶堕, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人症歇。 一個月前我還...
    沈念sama閱讀 48,158評論 3 370
  • 正文 我出身青樓郎笆,卻偏偏與公主長得像谭梗,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子宛蚓,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,941評論 2 355

推薦閱讀更多精彩內(nèi)容

  • hbase優(yōu)化 一:gc參數(shù)優(yōu)化 : region服務(wù)器處理過大的負(fù)載激捏,內(nèi)存分配策略無法安全地只依賴JRE對程序的...
    sunTengSt閱讀 1,156評論 0 4
  • HBase那些事 @(大數(shù)據(jù)工程學(xué)院)[HBase, Hadoop, 優(yōu)化, HadoopChen, hbase]...
    分癡閱讀 3,941評論 3 17
  • 服務(wù)端優(yōu)化 什么導(dǎo)致HBase性能下降 Jvm內(nèi)存分配與GC回收策略 HBase運(yùn)行機(jī)制相關(guān)的配置分配不合理 表結(jié)...
    Alukar閱讀 965評論 0 4
  • 位于香港金鐘香格里拉的榕園,有一株近一百五十年的大榕樹:枝繁葉茂凄吏、壯碩磅磗远舅、頂天立地!這棵榕樹大約于1870年種植...
    匯公金時代閱讀 794評論 0 0
  • 在Java中有兩類線程:User Thread(用戶線程)痕钢、Daemon Thread(守護(hù)線程) 用個比較通俗的...
    黑夜_Eric閱讀 716評論 1 2