rocksdb相對(duì)于mysql等數(shù)據(jù)庫(kù)來(lái)說(shuō)，比較小眾坤塞，即使接觸過(guò)一段時(shí)間flink后程癌，還是會(huì)很好奇flink為啥要選擇rocksdb來(lái)做狀態(tài)存儲(chǔ)斟览，這里總結(jié)一下為啥flink選擇rocksdb做狀態(tài)存儲(chǔ)的原因璧诵。
1.rocksdb采用的是LSM（Log-Struct Merge）結(jié)構(gòu)汰蜘，對(duì)于LSM不了解的可以參考這篇文章：從B+樹(shù)到LSM樹(shù)，及LSM樹(shù)在HBase中的應(yīng)用之宿，LSM相對(duì)于mysql里面的B+樹(shù)來(lái)說(shuō)族操，是寫(xiě)更有優(yōu)勢(shì)，而讀則比不過(guò)B+樹(shù)比被，但是因?yàn)閒link采用的keygroup的概念Flink 源碼：從 KeyGroup 到 Rescale色难，flink保存的keyedstate分散到每個(gè)算子的key其實(shí)有序的，而rocksdb存儲(chǔ)的每個(gè)key也是有序排列的等缀，通過(guò)blomfilter和二分查找法來(lái)查詢(xún)數(shù)據(jù)枷莉。
2.rocksdb本身也是一種嵌入式數(shù)據(jù)庫(kù)，相對(duì)于flink的每個(gè)算子來(lái)說(shuō)尺迂，每個(gè)算子的rocksdb可以理解成一個(gè)單獨(dú)的數(shù)據(jù)庫(kù)笤妙，他們之間不會(huì)存在讀寫(xiě)并發(fā)的問(wèn)題（因?yàn)獒槍?duì)每個(gè)算子來(lái)說(shuō)，存儲(chǔ)的keyedstate中的key是不會(huì)有重復(fù)的）
3.rocksdb中memtable是insert或者delete的數(shù)據(jù)噪裕，每次備份的時(shí)候只需要備份memtable以及各個(gè)層級(jí)合并后新產(chǎn)生的文件蹲盘，無(wú)需全部文件進(jìn)行備份，flink的增量備份就是利用了rocksdb的這點(diǎn)特性就行增量備份的
flink選擇rocksdb存儲(chǔ)的原因
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
- 文/潘曉璐 我一進(jìn)店門(mén)毒姨，熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)哑蔫，“玉大人，你說(shuō)我怎么就攤上這事弧呐≌⒚裕” “怎么了？”我有些...
- 文/不壞的土叔 我叫張陵俘枫，是天一觀的道長(zhǎng)腥沽。 經(jīng)常有香客問(wèn)我，道長(zhǎng)鸠蚪，這世上最難降的妖魔是什么今阳？ 我笑而不...
- 正文 為了忘掉前任师溅，我火速辦了婚禮，結(jié)果婚禮上盾舌，老公的妹妹穿的比我還像新娘墓臭。我一直安慰自己，他們只是感情好妖谴，可當(dāng)我...
- 文/花漫 我一把揭開(kāi)白布窿锉。 她就那樣靜靜地躺著，像睡著了一般窖维。 火紅的嫁衣襯著肌膚如雪榆综。 梳的紋絲不亂的頭發(fā)上，一...
- 那天铸史，我揣著相機(jī)與錄音，去河邊找鬼怯伊。 笑死琳轿，一個(gè)胖子當(dāng)著我的面吹牛，可吹牛的內(nèi)容都是我干的耿芹。 我是一名探鬼主播崭篡，決...
- 文/蒼蘭香墨 我猛地睜開(kāi)眼，長(zhǎng)吁一口氣：“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼吧秕！你這毒婦竟也來(lái)了琉闪？” 一聲冷哼從身側(cè)響起，我...
- 序言：老撾萬(wàn)榮一對(duì)情侶失蹤砸彬，失蹤者是張志新（化名）和其女友劉穎颠毙，沒(méi)想到半個(gè)月后，有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體砂碉，經(jīng)...
- 正文 獨(dú)居荒郊野嶺守林人離奇死亡蛀蜜，尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
- 正文 我和宋清朗相戀三年，在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了增蹭。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片滴某。...
- 正文 年R本政府宣布幕侠，位于F島的核電站，受9級(jí)特大地震影響赔退，放射性物質(zhì)發(fā)生泄漏橙依。R本人自食惡果不足惜证舟，卻給世界環(huán)境...
- 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望窗骑。 院中可真熱鬧女责，春花似錦、人聲如沸创译。這莊子的主人今日做“春日...
- 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)软族。三九已至刷喜，卻和暖如春，著一層夾襖步出監(jiān)牢的瞬間立砸，已是汗流浹背掖疮。 一陣腳步聲響...
- 正文 我出身青樓，卻偏偏與公主長(zhǎng)得像螺戳，于是被迫代替她去往敵國(guó)和親搁宾。 傳聞我的和親對(duì)象是個(gè)殘疾皇子，可洞房花燭夜當(dāng)晚...
推薦閱讀更多精彩內(nèi)容
- Intro Flink之所以能夠做到高效而準(zhǔn)確的有狀態(tài)流式處理倔幼，核心是依賴(lài)于檢查點(diǎn)（checkpoint）機(jī)制盖腿。當(dāng)...
- 本文僅為筆者平日學(xué)習(xí)記錄之用，侵刪原文：https://mp.weixin.qq.com/s/KNVRs4k8nH...
- State State簡(jiǎn)述 State分類(lèi)： Keyed state Operator state State兩種...
- 數(shù)據(jù)庫(kù)系統(tǒng)設(shè)計(jì)概述 世界上只有兩種開(kāi)發(fā)人員栗菜，一種使用數(shù)據(jù)庫(kù)系統(tǒng)的，一種開(kāi)發(fā)數(shù)據(jù)庫(kù)系統(tǒng)的蹄梢。 數(shù)據(jù)是系統(tǒng)最重要的信息疙筹。...
- 前言 這篇從半個(gè)月前就開(kāi)始寫(xiě)，斷斷續(xù)續(xù)寫(xiě)到現(xiàn)在禁炒，終于能發(fā)了（被簡(jiǎn)書(shū)吞了好幾次）而咆，不容易。 最近筆者正在補(bǔ)習(xí)與Roc...
