Ceph 分層緩存--Tiering Cache

原文來(lái)自Ceph官方文檔:CACHE TIERING

部分摘抄自Ceph中國(guó)社區(qū)翻譯文檔:分級(jí)緩存

1惜互、分層緩存介紹

? ? 分層緩存為ceph客戶端中的某些存放在存儲(chǔ)層的數(shù)據(jù)提供更好的IO性能。分級(jí)緩存需創(chuàng)建一個(gè)由高速而昂貴存儲(chǔ)設(shè)備(如 SSD )組成的存儲(chǔ)池只嚣、作為緩存層,以及一個(gè)相對(duì)低速/廉價(jià)設(shè)備組成的后端存儲(chǔ)池(或糾刪碼編碼的)、作為經(jīng)濟(jì)存儲(chǔ)層。Ceph 的對(duì)象處理器決定往哪里存儲(chǔ)對(duì)象棍矛,分級(jí)代理決定何時(shí)把緩存內(nèi)的對(duì)象刷回后端存儲(chǔ)層安疗;所以緩存層和后端存儲(chǔ)層對(duì) Ceph 客戶端來(lái)說(shuō)是完全透明的抛杨。

Ceph緩存池架構(gòu)模型

? ? 緩存代理層管理著數(shù)據(jù)在緩存層和存儲(chǔ)層之間的自動(dòng)遷移。但是, 管理員也可以通過(guò)配置來(lái)干預(yù)遷移規(guī)則荐类, 下面是對(duì)兩個(gè)主要場(chǎng)景的介紹:

Writeback Mode:當(dāng)管理員將緩存層配置成回寫(xiě)模式, Ceph客戶端將數(shù)據(jù)寫(xiě)入緩存層怖现,并接收返回的ACK。同時(shí)玉罐,寫(xiě)入緩存層的數(shù)據(jù)遷移到存儲(chǔ)層屈嗤,? 然后從緩存層刷掉。 直觀的看吊输, 緩存層在存儲(chǔ)層之前饶号。 當(dāng)Ceph客戶端需要存在于存儲(chǔ)層的數(shù)據(jù)時(shí), 緩存層代理會(huì)把這些數(shù)據(jù)遷移到緩存層季蚂,然后再發(fā)往 Ceph 客戶端茫船。因此,Ceph 客戶端將與緩存層進(jìn)行 I/O 操作扭屁,直到數(shù)據(jù)不再被讀寫(xiě)算谈。此模式對(duì)于易變數(shù)據(jù)來(lái)說(shuō)較理想(如照片/視頻編輯、事務(wù)數(shù)據(jù)等)料滥。

Read-proxy Mode:這個(gè)模式將使用一些已經(jīng)存在于緩存層的數(shù)據(jù)然眼,但是,如果數(shù)據(jù)不在緩存層葵腹,請(qǐng)求將被代理轉(zhuǎn)發(fā)到底層高每。這個(gè)模式對(duì)于從回寫(xiě)模式過(guò)渡到禁用緩存非常有用的, 因?yàn)樗鼭?rùn)需負(fù)載一直工作到緩存干涸践宴,不再向緩存添加任何數(shù)據(jù)鲸匿。

2、警告


? 如果負(fù)載過(guò)多浴井,分層緩存會(huì)降低性能晒骇。用戶在使用以下特性時(shí)需要極其謹(jǐn)慎。

Workload dependent: 緩存是否能提升性能,高度依賴于負(fù)載能力洪囤。因?yàn)閷?shù)據(jù)移入或移除緩存會(huì)導(dǎo)致額外的開(kāi)銷(xiāo)徒坡,它只在對(duì)數(shù)據(jù)集的訪問(wèn)有大的偏離時(shí)有影響。例如, 眾多的請(qǐng)求訪問(wèn)小數(shù)量的objects瘤缩,這時(shí)喇完,你的緩存池需要非常大,才能在處理所有請(qǐng)求時(shí)剥啤,避免數(shù)據(jù)過(guò)渡锦溪。

Difficult to benchmark: 用戶使用評(píng)測(cè)性能時(shí),大部分的關(guān)于分層緩存bechmarks測(cè)試結(jié)果府怯,將會(huì)是一個(gè)糟糕的結(jié)果刻诊。其中部分原因是很少的bechmarks傾斜于一組小的對(duì)象集合的請(qǐng)求這會(huì)使緩存經(jīng)過(guò)很長(zhǎng)時(shí)間后才能“活躍起來(lái)”牺丙,并且這種“活躍起來(lái)”會(huì)導(dǎo)致高昂的開(kāi)銷(xiāo)则涯。

Usually slower: 對(duì)于并沒(méi)有友好使用分級(jí)緩存的工作負(fù)載,性能普遍低于一個(gè)沒(méi)使用分級(jí)緩存的普通rados池冲簿。

librados object enumeration: 對(duì)于librados級(jí)別的枚舉對(duì)象API并不能連貫存在在這種情況中(The librados-level object enumeration API is not meant to be coherent in the presence of the case)粟判。 如果你的應(yīng)用直接使用rados,并且依賴于枚舉對(duì)象峦剔,分級(jí)緩存不能向期待的那樣工作. (對(duì)于RGW, RBD, or CephFS档礁,沒(méi)有這個(gè)問(wèn)題)

Complexity: 在使用RADOS集群時(shí),使用分級(jí)緩存意味著大量的額外器械和復(fù)雜性吝沫。這會(huì)增加你遇到未知的BUG(可能其他人未遇到過(guò))的可能性呻澜, 并且使你的部署擁有更大的風(fēng)險(xiǎn)。

已知的成功的負(fù)載方式

RGW time-skewed: 如果RGW工作中遇到的大部分操作是朝向最近寫(xiě)入的數(shù)據(jù)野舶,一個(gè)簡(jiǎn)單的分級(jí)緩存可以工作得很好易迹。

已知的錯(cuò)誤的負(fù)載方式

? ? 下面的配置使用分層緩存效果不佳。

RBD with replicated cache and erasure-coded base: 這是一個(gè)普遍的需求, 但是通常不能很好工作平道。即使合理的傾斜工作負(fù)載睹欲,仍然會(huì)遇到一些對(duì)于冷門(mén)object的寫(xiě)操作的情況,并且由于糾刪碼類(lèi)型的池還不支持輕微的讀寫(xiě)操作一屋,為了適應(yīng)一些小的寫(xiě)入操作(通常4kb)窘疮,整個(gè)object塊(通常4MB)必須被全部遷移到緩存 。只有少數(shù)用戶成功的應(yīng)用了這種部署方式冀墨,并且這種部署方案只能為他們工作是因?yàn)樗麄兊臄?shù)據(jù)是極其“冷門(mén)”的(例如備份)闸衫,并且他們對(duì)于性能并不敏感。

RBD with replicated cache and base: 在使用備份類(lèi)型為基礎(chǔ)層時(shí)比以糾刪碼為基礎(chǔ)層時(shí)诽嘉,RBD的表現(xiàn)更為良好蔚出, 但是它在工作負(fù)載中仍然依賴于大量的傾斜弟翘,并且很難驗(yàn)證。用戶需要對(duì)他們的工作負(fù)載有更好的理解骄酗, 并且需要仔細(xì)調(diào)整分層緩存參數(shù)稀余。

3、配置存儲(chǔ)池

? ? 為了建立分層緩存趋翻,你必須擁有兩個(gè)存儲(chǔ)池睛琳。一個(gè)作為后端存儲(chǔ),一個(gè)作為緩存踏烙。

3.1 配置后端存儲(chǔ)池

? ? 建立一個(gè)后端存儲(chǔ)池包含兩種場(chǎng)景:

標(biāo)準(zhǔn)存儲(chǔ): 在這種場(chǎng)景中师骗,這個(gè)池在Ceph存儲(chǔ)集群中存儲(chǔ)一個(gè)對(duì)象的多個(gè)副本。

糾刪碼: 在這種場(chǎng)景中讨惩,存儲(chǔ)池用糾刪碼高效地存儲(chǔ)數(shù)據(jù)辟癌,性能稍有損失。

? ? 在標(biāo)準(zhǔn)存儲(chǔ)場(chǎng)景中步脓,你可以用 CRUSH 規(guī)則集來(lái)標(biāo)識(shí)失敗域(如 osd 愿待、主機(jī)浩螺、機(jī)箱靴患、機(jī)架、排等)要出。當(dāng)規(guī)則集所涉及的所有驅(qū)動(dòng)器規(guī)格鸳君、速度(轉(zhuǎn)速和吞吐量)和類(lèi)型相同時(shí), OSD 守護(hù)進(jìn)程運(yùn)行得最優(yōu)患蹂。創(chuàng)建規(guī)則集的詳情見(jiàn)CRUSH 圖或颊。創(chuàng)建好規(guī)則集后,再創(chuàng)建后端存儲(chǔ)池传于。

? ? ?在糾刪碼編碼情景中囱挑,創(chuàng)建存儲(chǔ)池時(shí)指定好參數(shù)就會(huì)自動(dòng)生成合適的規(guī)則集,詳情見(jiàn)創(chuàng)建存儲(chǔ)池沼溜。

? ? ?在后續(xù)例子中平挑,我們把cold-storage當(dāng)作后端存儲(chǔ)池。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末系草,一起剝皮案震驚了整個(gè)濱河市通熄,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌找都,老刑警劉巖唇辨,帶你破解...
    沈念sama閱讀 218,858評(píng)論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異能耻,居然都是意外死亡赏枚,警方通過(guò)查閱死者的電腦和手機(jī)亡驰,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,372評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門(mén),熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)饿幅,“玉大人隐解,你說(shuō)我怎么就攤上這事〗氩牵” “怎么了煞茫?”我有些...
    開(kāi)封第一講書(shū)人閱讀 165,282評(píng)論 0 356
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)摄凡。 經(jīng)常有香客問(wèn)我续徽,道長(zhǎng),這世上最難降的妖魔是什么亲澡? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 58,842評(píng)論 1 295
  • 正文 為了忘掉前任钦扭,我火速辦了婚禮,結(jié)果婚禮上床绪,老公的妹妹穿的比我還像新娘客情。我一直安慰自己,他們只是感情好癞己,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,857評(píng)論 6 392
  • 文/花漫 我一把揭開(kāi)白布膀斋。 她就那樣靜靜地躺著,像睡著了一般痹雅。 火紅的嫁衣襯著肌膚如雪仰担。 梳的紋絲不亂的頭發(fā)上,一...
    開(kāi)封第一講書(shū)人閱讀 51,679評(píng)論 1 305
  • 那天绩社,我揣著相機(jī)與錄音摔蓝,去河邊找鬼。 笑死愉耙,一個(gè)胖子當(dāng)著我的面吹牛贮尉,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播朴沿,決...
    沈念sama閱讀 40,406評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼猜谚,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了悯仙?” 一聲冷哼從身側(cè)響起龄毡,我...
    開(kāi)封第一講書(shū)人閱讀 39,311評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎锡垄,沒(méi)想到半個(gè)月后沦零,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,767評(píng)論 1 315
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡货岭,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,945評(píng)論 3 336
  • 正文 我和宋清朗相戀三年路操,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了疾渴。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 40,090評(píng)論 1 350
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡屯仗,死狀恐怖搞坝,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情魁袜,我是刑警寧澤桩撮,帶...
    沈念sama閱讀 35,785評(píng)論 5 346
  • 正文 年R本政府宣布,位于F島的核電站峰弹,受9級(jí)特大地震影響店量,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜鞠呈,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,420評(píng)論 3 331
  • 文/蒙蒙 一融师、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧蚁吝,春花似錦旱爆、人聲如沸。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 31,988評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至庙曙,卻和暖如春空镜,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背捌朴。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,101評(píng)論 1 271
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留张抄,地道東北人砂蔽。 一個(gè)月前我還...
    沈念sama閱讀 48,298評(píng)論 3 372
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像署惯,于是被迫代替她去往敵國(guó)和親左驾。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,033評(píng)論 2 355

推薦閱讀更多精彩內(nèi)容

  • Spring Cloud為開(kāi)發(fā)人員提供了快速構(gòu)建分布式系統(tǒng)中一些常見(jiàn)模式的工具(例如配置管理极谊,服務(wù)發(fā)現(xiàn)诡右,斷路器,智...
    卡卡羅2017閱讀 134,659評(píng)論 18 139
  • 一轻猖、概述 Ceph是一個(gè)分布式存儲(chǔ)系統(tǒng)帆吻,誕生于2004年,最早致力于開(kāi)發(fā)下一代高性能分布式文件系統(tǒng)的項(xiàng)目咙边。隨著云計(jì)...
    魏鎮(zhèn)坪閱讀 49,418評(píng)論 3 54
  • ceph簡(jiǎn)介 Ceph是一個(gè)分布式存儲(chǔ)系統(tǒng)猜煮,誕生于2004年次员,是最早致力于開(kāi)發(fā)下一代高性能分布式文件系統(tǒng)的項(xiàng)目。隨...
    愛(ài)吃土豆的程序猿閱讀 6,026評(píng)論 0 21
  • 我預(yù)備先洗個(gè)頭王带,把自己弄得干凈些再去舅父家吃飯淑蔚。正忙著,母親突然來(lái)叫我愕撰,說(shuō)是家奇來(lái)找我了刹衫,在樓下等著。我正納悶搞挣,說(shuō)...
    白易閱讀 247評(píng)論 0 1
  • 修煉課29 :練習(xí)篇(一) 同一地點(diǎn)绪妹、不同取景方式(圖一、二)。 效果比較。 同一地點(diǎn)偶摔、不同構(gòu)圖(圖三括堤、四)。 效...
    小zhu先生閱讀 184評(píng)論 0 0