五分鐘筆記-RocksDB

下圖羅列了當(dāng)前MYSQL可選的數(shù)據(jù)引擎(后端),InnoDB作為默認(rèn)的后端仙辟。業(yè)內(nèi)有很多關(guān)于InnoDB境蜕,MyISAM和MyRocks(RockSDB)的比較撑教,作為入門者叹话,在此梳理一下有助于更好的了解對(duì)應(yīng)的選型場(chǎng)景及背后的技術(shù)原因偷遗。

Comparison of MySQL database engines? (摘自wiki)

RocksDB vs InnoDB

RocksDB優(yōu)勢(shì):

rocksdb相對(duì)于innodb提供的API層次性更好,意味著基于rockdb開發(fā)的數(shù)據(jù)后端通用性驼壶,移植性會(huì)更好氏豌,這也是spdk目前暫時(shí)僅支持rocksdb的原因之一。性能方面之前已經(jīng)有過不少的相關(guān)的對(duì)比測(cè)試热凹,如根據(jù)http://smalldatum.blogspot.com/2016/01/rocksdb-vs-innodb-via-linkbench.html的測(cè)試結(jié)果泵喘,其指出rocksdb相較于innodb壓縮占用空間更少,同時(shí)針對(duì)磁盤的寫次數(shù)更少般妙,盤相應(yīng)時(shí)間也更少纪铺。

- Uncompressed InnoDB loads faster than MyRocks and MyRocks loads faster than compressed InnoDB. I hope to figure out how to make MyRocks load faster than uncompressed InnoDB.

- MyRocks uses about half the disk space compared to compressed InnoDB.

- MyRocks writes much less to storage than InnoDB. This allows a workload to run on low-endurance SSD with MyRocks when it requires high-endurance SSD with InnoDB.

- Average and p99 response times are much better for MyRocks

- Maximum response times were usually better for InnoDB

RocksDB劣勢(shì):

不支持以下特性:

- 隔離僅支持RR,RC碟渺。對(duì)應(yīng)可能的問題如下表:

Relationship of isolation level and r/w? ??

- binlog與RocksDB之間沒有xa鲜锚,異常crash可能丟數(shù)據(jù)

作為MySQL的默認(rèn)引擎,其支持xa苫拍,savepoint芜繁,這些rocksdb是不支持

以下列出的限制摘錄于https://www.percona.com/doc/percona-server/LATEST/myrocks/limitations.html

Online DDL

ALTER TABLE ... EXCHANGE PARTITION

SAVEPOINT

Transportable tablespace

Foreign keys

Spatial indexes

Fulltext indexes

Gap locks

Group Replication

當(dāng)前RocksDB狀態(tài)

wiki上比較清晰的梳理了當(dāng)前使用rocksdb作為可選數(shù)據(jù)引擎(Alternative backend)或已內(nèi)置rocksdb(Embedded)的數(shù)據(jù)庫(kù)管理系統(tǒng)∪藜可以看到MySQL可以用MyRocks(基于rocksdb開發(fā))作為可選的數(shù)據(jù)引擎浆洗,Ceph的bluestore直接用了rocksdb來(lái)作為OSD節(jié)點(diǎn)上metadata的管理。

Alternative backend

The following projects have been started to replace or offer an alternative storage engines for already-established database systems with RocksDB:

MongoDB

The MongoRocks project provides a storage module for?MongoDB?where the storage engine is RocksDB.

A related program is Rocks Strata, a tool written in?Go, which allows managing incremental backups of MongoDB when RocksDB is used as the storage engine.

MySQL

The MyRocks project creates a new RocksDB based storage engine for?MySQL.In-depth details about MyRocks were presented at Percona Live 2016.

Cassandra

Cassandra on RocksDB can improve the performance of Apache Cassandra significantly (3-4 times faster in general, 100 times faster in some use-cases."Cassandra on RocksDB at Percona Live 2018".) The Instagram team at Facebook developed and open-sourced their code, along with benchmarks of their performance results."Open-sourcing a 10x reduction in Apache Cassandra tail latency".

Embedded

The following database systems and applications have chosen to use RocksDB as their embedded storage engine:

ArangoDB

ArangoDB?has replaced its previous storage engine ("mmfiles") with RocksDB

Ceph's BlueStore

The?Ceph's?BlueStore storage layer uses RocksDB for metadata management in OSD devices

LogDevice LogsDB

LogDevice's LogsDB is built atop RocksDB

Faktory

Facktory?the background job system uses RocksDB for storage

SSDB

The ssdb-rocks?project uses RocksDB as the storage engine for the SSDB?NoSQL Database.

TiDB

The TiDB project uses RocksDB as its storage engine


參考的鏈接:

https://dev.mysql.com/doc/refman/8.0/en/innodb-introduction.html

http://smalldatum.blogspot.com/2016/01/rocksdb-vs-innodb-via-linkbench.html

https://www.percona.com/blog/2018/02/01/myrocks-engine-things-know-start/

https://www.percona.com/doc/percona-server/LATEST/myrocks/limitations.html

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末集峦,一起剝皮案震驚了整個(gè)濱河市伏社,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌塔淤,老刑警劉巖摘昌,帶你破解...
    沈念sama閱讀 216,324評(píng)論 6 498
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異高蜂,居然都是意外死亡聪黎,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,356評(píng)論 3 392
  • 文/潘曉璐 我一進(jìn)店門备恤,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)稿饰,“玉大人,你說我怎么就攤上這事露泊『砹” “怎么了?”我有些...
    開封第一講書人閱讀 162,328評(píng)論 0 353
  • 文/不壞的土叔 我叫張陵惭笑,是天一觀的道長(zhǎng)侣姆。 經(jīng)常有香客問我生真,道長(zhǎng),這世上最難降的妖魔是什么捺宗? 我笑而不...
    開封第一講書人閱讀 58,147評(píng)論 1 292
  • 正文 為了忘掉前任柱蟀,我火速辦了婚禮,結(jié)果婚禮上蚜厉,老公的妹妹穿的比我還像新娘长已。我一直安慰自己,他們只是感情好昼牛,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,160評(píng)論 6 388
  • 文/花漫 我一把揭開白布痰哨。 她就那樣靜靜地躺著,像睡著了一般匾嘱。 火紅的嫁衣襯著肌膚如雪斤斧。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,115評(píng)論 1 296
  • 那天霎烙,我揣著相機(jī)與錄音撬讽,去河邊找鬼。 笑死悬垃,一個(gè)胖子當(dāng)著我的面吹牛游昼,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播尝蠕,決...
    沈念sama閱讀 40,025評(píng)論 3 417
  • 文/蒼蘭香墨 我猛地睜開眼烘豌,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了看彼?” 一聲冷哼從身側(cè)響起廊佩,我...
    開封第一講書人閱讀 38,867評(píng)論 0 274
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎靖榕,沒想到半個(gè)月后标锄,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,307評(píng)論 1 310
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡茁计,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,528評(píng)論 2 332
  • 正文 我和宋清朗相戀三年料皇,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片星压。...
    茶點(diǎn)故事閱讀 39,688評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡践剂,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出娜膘,到底是詐尸還是另有隱情逊脯,我是刑警寧澤,帶...
    沈念sama閱讀 35,409評(píng)論 5 343
  • 正文 年R本政府宣布劲绪,位于F島的核電站男窟,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏贾富。R本人自食惡果不足惜歉眷,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,001評(píng)論 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望颤枪。 院中可真熱鬧汗捡,春花似錦、人聲如沸畏纲。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,657評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)盗胀。三九已至艘蹋,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間票灰,已是汗流浹背女阀。 一陣腳步聲響...
    開封第一講書人閱讀 32,811評(píng)論 1 268
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留屑迂,地道東北人浸策。 一個(gè)月前我還...
    沈念sama閱讀 47,685評(píng)論 2 368
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像惹盼,于是被迫代替她去往敵國(guó)和親庸汗。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,573評(píng)論 2 353