HBase Flush 機(jī)制

定義在 hbase-site.xml 文件

## Count of RPC Listener instances spun up on RegionServers
## 一個(gè) region server 可以同時(shí)處理的請(qǐng)求個(gè)數(shù) (包括增刪查改), 超過這個(gè)值的請(qǐng)求會(huì)在 Queue 里排隊(duì)
hbase.regionserver.handler.count : 30


## 以下幾個(gè)參數(shù)是關(guān)于 MemStore 刷入 HFile 的機(jī)制
##   1. MemStore 超過 128M 時(shí)刷入 (默認(rèn)每 10 秒檢查一次)
##   2. MemStore 超過 4 * 128M 時(shí) block 更新 MemStore 的操作稿茉,并強(qiáng)制做 flush恨豁,這是為了處理出現(xiàn) spike 的場(chǎng)景
##   3. 當(dāng) RegionServer 所有 MemStore 的總大小超過 RegionServer 的 heap 的 40% 時(shí)行楞,會(huì) block 所有更新 MemStore 的操作命爬,并強(qiáng)制做 flush,從占內(nèi)存大的 MemStore 開始
##   4. 當(dāng) RegionServer 所有 MemStore 的總大小超過 RegionServer 的 heap 的 40% * 0.95 時(shí),選擇占用內(nèi)存大的 MemStore 阻塞更新操作狭莱,并進(jìn)行 flush
##   5. 當(dāng) WAL(Write-ahead log僵娃,預(yù)寫日志) 數(shù)量,也就是 HLog 文件數(shù)據(jù)大于 32 時(shí)腋妙,會(huì)進(jìn)行 flush默怨,從最舊的 HLog 文件對(duì)應(yīng)的 Region 開始
##   6. Region 的數(shù)據(jù)更新超過一定閾值 (30 millions)
##   7. 定期 (1 小時(shí)) 進(jìn)行 flush
##   8. 也可以手動(dòng)刷入,HBase shell -> flush "TableName"

## if a MemStore exceed 128M, flush to HDFS HFile
## can flush in hbase shell manaully : flush 'TABLENAME'
hbase.hregion.memstore.flush.size : 134217728 (128M)

## block update(write,insert,delete) action if a MemStore exceed flush.size*multiplier, for spike traffic scenario
## throw RegionTooBusyException
hbase.hregion.memstore.block.multiplier : 4

## Maximum size of all memstores in a region server before new updates are blocked and flushes are forced
hbase.regionserver.global.memstore.size : 0.4

## Maximum size of all memstores in a region server before flushes are forced
hbase.regionserver.global.memstore.size.lower.limit : 95% of hbase.regionserver.global.memstore.size

## If more than this many logs, force flush of oldest region to oldest edit goes to disk. 
hbase.regionserver.maxlogs : 32

## force a flush if there are already enough changes for one region in memstore
hbase.regionserver.flush.per.changes : 30000000

## Maximum amount of time an edit lives in memory before being automatically flushed
hbase.regionserver.optionalcacheflushinterval : 3600000 (1 hour)


## Maximum HStoreFile size in HDFS
## hadoop fs -du -s -h /apps/hbase/data/data/default/REGULARDATAPHOENIXTABLE/*
hbase.hregion.max.filesize : 10737418240 (10G)
          
## The time (in miliseconds) between 'major' compactions of all HStoreFiles in a region
## 多久做一次 major compact
hbase.hregion.majorcompaction : 604800000 (7 days)

## Max number of HStoreFiles to compact per 'minor' compaction
## 一次 minor compact 最多操作多少個(gè) HFile
hbase.hstore.compaction.max : 10




?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末骤素,一起剝皮案震驚了整個(gè)濱河市匙睹,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌济竹,老刑警劉巖痕檬,帶你破解...
    沈念sama閱讀 211,194評(píng)論 6 490
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異送浊,居然都是意外死亡梦谜,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,058評(píng)論 2 385
  • 文/潘曉璐 我一進(jìn)店門袭景,熙熙樓的掌柜王于貴愁眉苦臉地迎上來唁桩,“玉大人,你說我怎么就攤上這事耸棒』脑瑁” “怎么了?”我有些...
    開封第一講書人閱讀 156,780評(píng)論 0 346
  • 文/不壞的土叔 我叫張陵榆纽,是天一觀的道長(zhǎng)仰猖。 經(jīng)常有香客問我捏肢,道長(zhǎng)奈籽,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 56,388評(píng)論 1 283
  • 正文 為了忘掉前任鸵赫,我火速辦了婚禮衣屏,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘辩棒。我一直安慰自己狼忱,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,430評(píng)論 5 384
  • 文/花漫 我一把揭開白布一睁。 她就那樣靜靜地躺著钻弄,像睡著了一般。 火紅的嫁衣襯著肌膚如雪者吁。 梳的紋絲不亂的頭發(fā)上窘俺,一...
    開封第一講書人閱讀 49,764評(píng)論 1 290
  • 那天,我揣著相機(jī)與錄音复凳,去河邊找鬼瘤泪。 笑死灶泵,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的对途。 我是一名探鬼主播赦邻,決...
    沈念sama閱讀 38,907評(píng)論 3 406
  • 文/蒼蘭香墨 我猛地睜開眼,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼实檀!你這毒婦竟也來了惶洲?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 37,679評(píng)論 0 266
  • 序言:老撾萬榮一對(duì)情侶失蹤膳犹,失蹤者是張志新(化名)和其女友劉穎湃鹊,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體镣奋,經(jīng)...
    沈念sama閱讀 44,122評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡币呵,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,459評(píng)論 2 325
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了侨颈。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片余赢。...
    茶點(diǎn)故事閱讀 38,605評(píng)論 1 340
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖哈垢,靈堂內(nèi)的尸體忽然破棺而出妻柒,到底是詐尸還是另有隱情,我是刑警寧澤耘分,帶...
    沈念sama閱讀 34,270評(píng)論 4 329
  • 正文 年R本政府宣布举塔,位于F島的核電站,受9級(jí)特大地震影響求泰,放射性物質(zhì)發(fā)生泄漏央渣。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,867評(píng)論 3 312
  • 文/蒙蒙 一渴频、第九天 我趴在偏房一處隱蔽的房頂上張望芽丹。 院中可真熱鬧,春花似錦卜朗、人聲如沸拔第。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,734評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)蚊俺。三九已至,卻和暖如春逛万,著一層夾襖步出監(jiān)牢的瞬間泳猬,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 31,961評(píng)論 1 265
  • 我被黑心中介騙來泰國(guó)打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留暂殖,地道東北人价匠。 一個(gè)月前我還...
    沈念sama閱讀 46,297評(píng)論 2 360
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像呛每,于是被迫代替她去往敵國(guó)和親踩窖。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,472評(píng)論 2 348

推薦閱讀更多精彩內(nèi)容