CephFS 內(nèi)部實現(xiàn)(三):快照

CephFS快照幾個特點:

  • 寫時復(fù)制
  • client端操作時只能針對目錄秸讹,不能針對單獨文件
  • 從任意文件夾下開始打快照

快照實現(xiàn)

快照通過SnapRealm組織成樹形結(jié)構(gòu)啦粹,每個有快照信息的inode節(jié)點都會有對應(yīng)的SnapRealm,沒有快照信息的inode使用父節(jié)點路徑上最近的SnapRealm讯嫂,根節(jié)點默認(rèn)有SnapRealm蝙泼。在client端創(chuàng)建快照時mds會在對應(yīng)的inode節(jié)點新建SnapRealm(僅首次創(chuàng)建時)宋距,普通文件inode中也會出現(xiàn)SnapRealm,但都是mds的cow機制創(chuàng)建的埃元,client端無法直接操作涝涤。

snaprealm創(chuàng)建及組織

要解決的問題

  • 快照究竟是在備份什么?
    快照是對當(dāng)前目錄及以下的子樹狀態(tài)進行保存亚情,創(chuàng)建快照相當(dāng)于對目錄樹中(節(jié)點以下的子目錄樹)每個inode進行備份妄痪,因為inode承載了文件系統(tǒng)的全部信息。根據(jù)MDS的元數(shù)據(jù)組織關(guān)系楞件,對于普通文件衫生,實際上是將dentry在dir的items中新增一份副本,由first土浸,last兩個值指明對應(yīng)的snap范圍罪针,并且還會對inode進行備份,備份的inode最終以omap val形式存在黄伊。對于目錄泪酱,并不會在其父目錄items中新增dentry,而只是在自己的inode中新增一份inode備份还最,最終以meta pool中的RADOS對象形式存在(不是新增對象墓阀,每個目錄只有一個對象)。

  • 快照的元數(shù)據(jù)如何存在拓轻?
    每個快照都有全局唯一的整數(shù)id標(biāo)識斯撮,通過向MDSTableServer申請來保證id唯一性。每個元數(shù)據(jù)都有first扶叉,last標(biāo)識勿锅,用于標(biāo)識元數(shù)據(jù)對應(yīng)的snap帕膜,lastCEPH_NOSNAP時標(biāo)識元數(shù)據(jù)為head數(shù)據(jù)。

  • 在目錄樹中的某個節(jié)點打快照后溢十,快照信息如何向上傳遞垮刹?
    快照節(jié)點以上的部分和本次快照無關(guān),因此元數(shù)據(jù)不受影響张弛。但如果本節(jié)點是第一次打快照荒典,則snaprealm的組織關(guān)系會發(fā)生變化。

  • 在目錄樹中的某個節(jié)點打快照后乌庶,快照信息如何向下傳遞种蝶?
    當(dāng)父節(jié)點創(chuàng)建快照后,子節(jié)點是需要知道的瞒大,這樣子節(jié)點才會知道去備份dentry和inode螃征。這個通知機制是通過SnapRealm關(guān)系樹來完成的。父節(jié)點遍歷自己的child snaprealms透敌,逐個清空child snaprealm cached_seq盯滚,并向client端發(fā)送信息。
    清空cached_seq可以保證在下次需要讀取snap信息時snaprealm重新進行build_snap_set()操作酗电,進而讀取到父節(jié)點的最新snap信息魄藕。
    向client端發(fā)的信息主要包括三方面:

    1. snaprealm組織關(guān)系的變化。如果是新創(chuàng)建的snaprealm撵术,則涉及繼承關(guān)系調(diào)整背率。
    2. 面向client的inode cap組織關(guān)系變化。每個inode cap都屬于一個snaprealm管理(通過xlist結(jié)構(gòu))嫩与,如果是新建的snaprealm寝姿,則涉及管理關(guān)系的移動。比如初始狀態(tài)下所有cap都在根節(jié)點snaprealm中划滋,新建snaprealm后饵筑,快照節(jié)點以下的inode cap將被移動到新snaprealm中。
    3. split信息处坪。如果不是新建snaprealm根资,即在已有快照的節(jié)點上繼續(xù)創(chuàng)建快照。這種情況下快照節(jié)點的子節(jié)點sanprealm需要知道父節(jié)點快照更新的消息同窘,在mds端是通過寫時復(fù)制(Copy On Write)的方式先invalidate cache seq玄帕,再在需要時build seq實現(xiàn),但是對于client端無法這樣做想邦,client端維護的snap信息需要及時更新桨仿,沒有cow,因此這些信息作為split信息傳遞給client案狠。

寫時復(fù)制

創(chuàng)建快照時只更新節(jié)點的snaprealm服傍,并invalidate子節(jié)點的snaprealm cache,同時通知client最新的snap信息骂铁。整個過程并沒有涉及元數(shù)據(jù)的備份吹零,firstlast的修改以及對于普通文件的數(shù)據(jù)進行的備份拉庵,因為這些修改是在下次對節(jié)點進行修改時才會發(fā)生的事件灿椅,因此叫做寫時復(fù)制。
舉兩個??:

  1. 創(chuàng)建快照后钞支,在目錄下新建文件茫蛹,這時目錄發(fā)生cow:通過journal_dirty_inode()將目錄inode進行復(fù)制(CInode::cow_old_inode()),但并不會將目錄的dentry在父目錄中進行備份烁挟。
  2. 創(chuàng)建快照后婴洼,在目錄下truncate一個已有的文件,這時文件發(fā)生cow:通過journal_dirty_inode()對文件目錄進行復(fù)制(MDCache::cow_inode())撼嗓,且會在目錄的items中新增一個snaped的dentry柬采,和cow_inode() new出來的inode關(guān)聯(lián)。對于文件數(shù)據(jù)部分的備份則是通過RADOS層的快照機制完成(mds會將文件之前的快照號傳給Filer且警,最終傳到pg層的OSDOp中粉捻,這些快照號對應(yīng)的數(shù)據(jù)將被保留)。

快照對stats的影響

由于stats信息都是根據(jù)inode統(tǒng)計得出的斑芜,而從client發(fā)起的請求肩刃,要么是在非快照目錄下,要么是快照目錄下杏头,在非快照目錄下盈包,對于mds就是一次snapid為CEPH_NOSNAP的請求,在快照目錄下發(fā)起的請求對于mds就是一個有具體snapid的請求大州。因此只能分開統(tǒng)計快照和非快照空間使用量续语。如果計費的話這里會有個問題,就是快照的實際使用空間是無法從client端得到的厦画,除非根據(jù)inode去datapool中遍歷對象計算出快照的實際使用空間疮茄。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市根暑,隨后出現(xiàn)的幾起案子力试,更是在濱河造成了極大的恐慌,老刑警劉巖排嫌,帶你破解...
    沈念sama閱讀 217,406評論 6 503
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件畸裳,死亡現(xiàn)場離奇詭異,居然都是意外死亡淳地,警方通過查閱死者的電腦和手機怖糊,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,732評論 3 393
  • 文/潘曉璐 我一進店門帅容,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人伍伤,你說我怎么就攤上這事并徘。” “怎么了扰魂?”我有些...
    開封第一講書人閱讀 163,711評論 0 353
  • 文/不壞的土叔 我叫張陵麦乞,是天一觀的道長。 經(jīng)常有香客問我劝评,道長姐直,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,380評論 1 293
  • 正文 為了忘掉前任蒋畜,我火速辦了婚禮声畏,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘百侧。我一直安慰自己砰识,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 67,432評論 6 392
  • 文/花漫 我一把揭開白布佣渴。 她就那樣靜靜地躺著辫狼,像睡著了一般。 火紅的嫁衣襯著肌膚如雪辛润。 梳的紋絲不亂的頭發(fā)上膨处,一...
    開封第一講書人閱讀 51,301評論 1 301
  • 那天,我揣著相機與錄音砂竖,去河邊找鬼真椿。 笑死,一個胖子當(dāng)著我的面吹牛乎澄,可吹牛的內(nèi)容都是我干的突硝。 我是一名探鬼主播,決...
    沈念sama閱讀 40,145評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼置济,長吁一口氣:“原來是場噩夢啊……” “哼解恰!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起浙于,我...
    開封第一講書人閱讀 39,008評論 0 276
  • 序言:老撾萬榮一對情侶失蹤护盈,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后羞酗,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體腐宋,經(jīng)...
    沈念sama閱讀 45,443評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,649評論 3 334
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了胸竞。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片欺嗤。...
    茶點故事閱讀 39,795評論 1 347
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖撤师,靈堂內(nèi)的尸體忽然破棺而出剂府,到底是詐尸還是另有隱情,我是刑警寧澤剃盾,帶...
    沈念sama閱讀 35,501評論 5 345
  • 正文 年R本政府宣布,位于F島的核電站淤袜,受9級特大地震影響痒谴,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜铡羡,卻給世界環(huán)境...
    茶點故事閱讀 41,119評論 3 328
  • 文/蒙蒙 一积蔚、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧烦周,春花似錦尽爆、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,731評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至夭委,卻和暖如春幅狮,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背株灸。 一陣腳步聲響...
    開封第一講書人閱讀 32,865評論 1 269
  • 我被黑心中介騙來泰國打工崇摄, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人慌烧。 一個月前我還...
    沈念sama閱讀 47,899評論 2 370
  • 正文 我出身青樓逐抑,卻偏偏與公主長得像,于是被迫代替她去往敵國和親屹蚊。 傳聞我的和親對象是個殘疾皇子厕氨,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 44,724評論 2 354

推薦閱讀更多精彩內(nèi)容