前言

rbd是ceph提供的塊存儲(chǔ)服務(wù)。主要有幾種使用場(chǎng)景：

• map成塊設(shè)備直接使用
• 結(jié)合iSCSI使用
• 結(jié)合OpenStack使用

map成塊設(shè)備拿霉，主要有兩種方式：

• 通過(guò)RBD Kernel Module
• 通過(guò)RBD-NBD

經(jīng)過(guò)考察，發(fā)現(xiàn)RBD Kernel Module項(xiàng)目更新緩慢，其功能已經(jīng)遠(yuǎn)遠(yuǎn)落后于librbd提供的功能慌闭。像striping、object map第献、exclusive lock等功能均不支持贡必。

RBD-NBD方式，基于Network Block Device(nbd)實(shí)現(xiàn)庸毫，并且nbd已經(jīng)經(jīng)過(guò)了很長(zhǎng)時(shí)間的實(shí)踐仔拟，穩(wěn)定性有所保證。對(duì)塊設(shè)備的請(qǐng)求飒赃，由nbd間接調(diào)用librbd完成利花，可以支持最新的特性，是比較理想的方式载佳。

下文將對(duì)rbd通過(guò)nbd進(jìn)行讀寫和map的實(shí)現(xiàn)進(jìn)行介紹炒事。

nbd

nbd是一種起源于linux的輕量級(jí)塊訪問(wèn)協(xié)議，可以讓你將任何存儲(chǔ)方式作為操作系統(tǒng)的塊設(shè)備來(lái)使用蔫慧。它主要分成兩部分挠乳，server端和client端。client端位于linux內(nèi)核姑躲。server端需要由你實(shí)現(xiàn)睡扬。

當(dāng)我們對(duì)/dev/nbdx設(shè)備發(fā)起io操作時(shí)，會(huì)由內(nèi)核中的nbd client封裝成nbd請(qǐng)求通過(guò)tcp網(wǎng)絡(luò)發(fā)送給對(duì)應(yīng)的nbd server黍析，server端解析請(qǐng)求卖怜，做出處理后，返回結(jié)果到nbd client端阐枣。

image.png

有關(guān)協(xié)議的內(nèi)容和操作方式马靠，見官方文檔奄抽。
注意，這里文檔里稱內(nèi)核中的部分為server甩鳄，我們實(shí)現(xiàn)的部分為client逞度。

rbd-nbd

ceph社區(qū)為nbd實(shí)現(xiàn)了一個(gè)server，這個(gè)server會(huì)接收來(lái)自內(nèi)核中nbd的請(qǐng)求娩贷，然后轉(zhuǎn)調(diào)librdb完成請(qǐng)求第晰，返回結(jié)果。

rbd對(duì)nbd的支持全部位于rbd-nbd.cc文件彬祖，大概1000行代碼。

命令基本實(shí)現(xiàn)

• 使用rbd-nbd map image-spec|snap-spec 命令將一個(gè)rbd鏡像map到塊設(shè)備品抽，是fork出一個(gè)server進(jìn)程储笑，并為該server進(jìn)程和內(nèi)核client指定通信所用的socket fd。當(dāng)然圆恤，還要為client設(shè)置timeout突倍、block size、device size等等一些參數(shù)盆昙，以及一些flags羽历。之后，server進(jìn)程會(huì)運(yùn)行兩個(gè)線程淡喜，然后調(diào)用ioctl(nbd, NBD_DO_IT)進(jìn)入阻塞狀態(tài)秕磷，直到unmap過(guò)程中調(diào)用ioctl(nbd, NBD_DISCONNECT)。一個(gè)為讀線程炼团，接收來(lái)自client的請(qǐng)求澎嚣，解析后放入一個(gè)pending隊(duì)列，然后調(diào)用image.aio_write``image.aio_read``image.aio_flush等命令異步執(zhí)行操作瘟芝，在其完成后會(huì)調(diào)用提前注冊(cè)的回調(diào)函數(shù)易桃，將請(qǐng)求從pending隊(duì)列轉(zhuǎn)移到finish隊(duì)列。另一個(gè)為寫線程锌俱，finish隊(duì)列為空時(shí)晤郑，寫線程阻塞，當(dāng)finish隊(duì)列不為空時(shí)贸宏，寫線程負(fù)責(zé)從finish隊(duì)列中取出完成的請(qǐng)求造寝，將結(jié)果返回給nbd client端。
• 使用rbd-nbd unmap devpath命令進(jìn)行unmap操作锚赤，其實(shí)只有兩行代碼： int nbd = open_device(devpath.c_str()) 和ioctl(nbd, NBD_DISCONNECT)(NBD_DISCONNECT是nbd的協(xié)議原語(yǔ)之一)匹舞。
• 使用rbd-nbd list-mapped命令查看所有map的nbd設(shè)備和rbd鏡像的對(duì)應(yīng)關(guān)系，其步驟是：從x=0開始遍歷线脚，通過(guò)/sys/block/nbd<x>/pid獲取該nbd設(shè)備對(duì)應(yīng)的server進(jìn)程pid赐稽，然后通過(guò)/proc/<pid>/cmdline獲取該進(jìn)程啟動(dòng)時(shí)的命令（肯定是rbd-nbd map image-spec|snap-spec）叫榕，通過(guò)解析cmdline來(lái)獲得image、pool等信息姊舵。

一些要點(diǎn)

• rbd-nbd server與client的通信是使用socketpair(AF_UNIX, SOCK_STREAM, 0, fd)產(chǎn)生fd進(jìn)行的晰绎。client端通過(guò)fd[0]向server發(fā)送請(qǐng)求與接收結(jié)果。server端通過(guò)fd[1]接收client端發(fā)送的請(qǐng)求括丁，并返回結(jié)果荞下。
• 通過(guò)nbd map的塊設(shè)備只可能有兩個(gè)cache，一個(gè)是內(nèi)核中的塊設(shè)備緩存史飞，一個(gè)是librbd的緩存尖昏。nbd本身沒(méi)有做緩存。
• rbd-nbd會(huì)監(jiān)控rbd image size的變化构资，發(fā)生變化時(shí)抽诉，會(huì)依次清空blk設(shè)備緩存ioctl(fd, BLKFLSBUF, NULL)，設(shè)置新size到nbd clientioctl(fd, NBD_SET_SIZE, new_size)吐绵，重新掃描分區(qū)表ioctl(fd, BLKRRPART, NULL)迹淌，清空image緩存image.invalidate_cache()。

寫的不是很詳細(xì)己单，有問(wèn)題私戳我吧唉窃。。

參考

https://sourceforge.net/p/nbd/code/ci/master/tree/doc/proto.md
https://nbd.sourceforge.io/
https://github.com/ceph/ceph/blob/master/src/tools/rbd_nbd/rbd-nbd.cc