磁盤IO的基礎(chǔ)原理
磁盤的組成
一塊機(jī)械硬盤是由盤面驯遇、磁頭和懸臂三個(gè)部件組成的芹彬。
盤面：是實(shí)際存儲(chǔ)數(shù)據(jù)的盤片。盤面上有一層磁性的涂層叉庐。數(shù)據(jù)就存儲(chǔ)在這個(gè)磁性的涂層上舒帮。 盤面中間有一個(gè)受電機(jī)控制的轉(zhuǎn)軸。這個(gè)轉(zhuǎn)軸會(huì)控制盤面去旋轉(zhuǎn)陡叠。與盤面有關(guān)系的指標(biāo)叫
轉(zhuǎn)速玩郊，如硬盤有5400 轉(zhuǎn)的、7200 轉(zhuǎn)的枉阵，乃至 10000 轉(zhuǎn)的译红。這個(gè)多少多少轉(zhuǎn)，指的就是盤面中間電機(jī)控制的轉(zhuǎn)軸的旋轉(zhuǎn)速度兴溜，英文單位叫RPM侦厚，也就是每分鐘的旋轉(zhuǎn)圈數(shù)。7200RPM拙徽，指的就是一旦電腦開機(jī)供電之后刨沦，我們的硬盤就可以一直做到每分鐘轉(zhuǎn)上 7200 圈。如果折算到每一秒鐘膘怕，就是 120 圈想诅。磁頭：數(shù)據(jù)并不能直接從盤面?zhèn)鬏數(shù)娇偩€上，而是通過磁頭岛心，從盤面上讀取到来破，然后再通過電路信號(hào)傳輸給控制電路、接口忘古，再到總線上的徘禁。通常，一個(gè)盤面上會(huì)有兩個(gè)磁頭存皂，分別在盤面的正反面。盤面在正反兩面都有對(duì)應(yīng)的磁性涂層來存儲(chǔ)數(shù)據(jù)，而且一塊硬盤也不是只有一個(gè)盤面旦袋，而是上下堆疊了很多個(gè)盤面骤菠，各個(gè)盤面之間是平行的。每個(gè)盤面的正反兩面都有對(duì)應(yīng)的磁頭疤孕。
懸臂：懸臂鏈接在磁頭上商乎，并且在一定范圍內(nèi)會(huì)去把磁頭定位到盤面的某個(gè)特定的磁道上画恰。
一個(gè)盤面通常是圓形的画侣，由很多個(gè)同心圓組成实夹，每一圈都是一個(gè)磁道棋电。每個(gè)磁道都有自己的一個(gè)編號(hào)骏融。懸臂其實(shí)只是控制锦担，到底是讀最里面那個(gè)圈的數(shù)據(jù)漂彤，還是最外面圈的數(shù)據(jù)霹粥。
一個(gè)磁道伦腐，會(huì)分成一個(gè)一個(gè)扇區(qū)赢底。上下平行的一個(gè)一個(gè)盤面的相同扇區(qū)呢，叫作一個(gè)柱面柏蘑，讀取數(shù)據(jù)幸冻，兩個(gè)步驟。
把盤面旋轉(zhuǎn)到某一個(gè)位置咳焚。在這個(gè)位置上洽损，懸臂可以定位到整個(gè)盤面的某一個(gè)子區(qū)間。這個(gè)子區(qū)間的形狀有點(diǎn)兒像一塊披薩餅革半，一般把這個(gè)區(qū)間叫作
幾何扇區(qū)碑定。意思是，在幾何位置上督惰，所有這些扇區(qū)都可以被懸臂訪問到不傅。就是把
懸臂移動(dòng)到特定磁道的特定扇區(qū)，也就在這個(gè)幾何扇區(qū)里面赏胚，找到我們實(shí)際的扇區(qū)访娶。找到之后，磁頭會(huì)落下觉阅，就可以讀取到正對(duì)著扇區(qū)的數(shù)據(jù)崖疤。
數(shù)據(jù)存取方式
磁盤的數(shù)據(jù)讀/寫一般是按柱面進(jìn)行的，即讀/寫數(shù)據(jù)時(shí)首先在同一柱面內(nèi)從“0”磁頭開始進(jìn)行操作典勇，依次向下在同一柱面的不同盤面即不同磁頭上進(jìn)行操作劫哼，只有當(dāng)同一柱面所有的磁頭全部讀/寫完畢后，磁頭才轉(zhuǎn)移到下一柱面（即尋道）割笙。
因?yàn)榍袚Q磁頭只需通過電子設(shè)備切換即可权烧，而切換柱面則必須通過機(jī)械設(shè)備切換眯亦。電子磁頭間的切換比機(jī)械磁頭向臨近磁道或柱面切換要快的多。所以般码，數(shù)據(jù)的讀/寫按柱面進(jìn)行妻率，而不按盤面進(jìn)行。也就是說板祝，一個(gè)磁道寫滿數(shù)據(jù)后宫静，就在同一柱面的下一個(gè)盤面的相同半徑磁道來寫，一個(gè)柱面寫滿后券时，才移到下一個(gè)柱面開始寫數(shù)據(jù)孤里。讀數(shù)據(jù)也按照這種方式進(jìn)行，這樣就大大提高了磁盤的讀/寫效率橘洞。
磁盤數(shù)據(jù)定位
機(jī)械硬盤的硬件捌袜，主要由盤面、磁頭和懸臂三部分組成震檩。我們的數(shù)據(jù)在盤面上的位置琢蛤，可以通過磁道、扇區(qū)和柱面來定位抛虏。實(shí)際的一次對(duì)于硬盤的訪問博其，需要把盤面旋轉(zhuǎn)到某一個(gè)“幾何扇區(qū)”，對(duì)準(zhǔn)懸臂的位置迂猴。然后慕淡，懸臂通過尋道，把磁頭放到我們實(shí)際要讀取的扇區(qū)上沸毁。
受制于機(jī)械硬盤的結(jié)構(gòu)峰髓，我們對(duì)于隨機(jī)數(shù)據(jù)的訪問速度，就要包含旋轉(zhuǎn)盤面的平均延時(shí)和移動(dòng)懸臂的尋道時(shí)間息尺。
磁盤尋道示例
數(shù)據(jù)存放在磁盤的第六磁道的第八扇區(qū)上：
那磁頭就會(huì)先擺動(dòng)到第六磁道上空携兵，然后等待第八扇區(qū)轉(zhuǎn)過來。當(dāng)?shù)诎松葏^(qū)轉(zhuǎn)到磁頭下面的時(shí)候搂誉，才可以讀取數(shù)據(jù)徐紧。
這就是機(jī)械硬盤的工作原理，也正是因?yàn)闄C(jī)械硬盤是利用磁性極粒來存儲(chǔ)數(shù)據(jù)的炭懊，所以機(jī)械硬盤通常又被稱作磁盤并级。
磁盤數(shù)據(jù)尋址方式
訪問硬盤上的數(shù)據(jù)總是以扇區(qū)為單位進(jìn)行的，即每次讀或?qū)懼辽偈且粋€(gè)扇區(qū)的數(shù)據(jù)侮腹。
常用兩種：物理尋址方式（CHS）和邏輯尋址方式（LBA）
物理尋址方式
物理尋址方式又稱為CHS（Cylinder柱面/Head磁頭/Sector扇區(qū)）方式嘲碧，用柱面號(hào)（即磁道號(hào)）、磁頭號(hào)（即盤面號(hào)）和扇區(qū)號(hào)來表示一個(gè)特定扇區(qū)父阻。柱面和扇區(qū)從0開始編號(hào)愈涩，而扇區(qū)從1開始編號(hào)的望抽。
磁盤容量=磁頭數(shù)×柱面數(shù)×扇區(qū)數(shù)×512字節(jié)
系統(tǒng)在寫入數(shù)據(jù)時(shí)是按照從柱面到柱面的方式，當(dāng)上一個(gè)柱面寫滿數(shù)據(jù)后才移動(dòng)磁頭到下一個(gè)柱面履婉，而且是從柱面的第一個(gè)磁頭的第一個(gè)扇區(qū)開始寫入糠聪，從而使磁盤性能最優(yōu)。
邏輯尋址方式
尋址方式也改為以扇區(qū)為單位的線性尋址谐鼎，這種尋址方式便是LBA。即將所有的扇區(qū)統(tǒng)一編號(hào)趣惠。C/H/S中的扇區(qū)編號(hào)是從“1”至“63”狸棍，而邏輯扇區(qū)LBA方式下扇區(qū)是從“0”開始編號(hào)，所有扇區(qū)編號(hào)按順序進(jìn)行味悄。
對(duì)于任何一個(gè)硬盤草戈，都可以認(rèn)為其扇區(qū)是從0號(hào)開始。
硬盤特性
硬盤尋址時(shí)間
即完成一個(gè)io請(qǐng)求所花費(fèi)的時(shí)間(它由尋道時(shí)間侍瑟、旋轉(zhuǎn)延遲和數(shù)據(jù)傳輸時(shí)間三部分構(gòu)成)
- 尋道時(shí)間：磁頭移動(dòng)到數(shù)據(jù)所在磁道的時(shí)間
7200 rpm的硬盤平均物理尋道時(shí)間是9ms
10000 rpm的硬盤平均物理尋道時(shí)間是6ms
15000 rpm的硬盤平均物理尋道時(shí)間是4ms
- 旋轉(zhuǎn)延遲時(shí)間：磁頭移動(dòng)到數(shù)據(jù)所在磁道后唐片，數(shù)據(jù)轉(zhuǎn)到磁頭下的時(shí)間(旋轉(zhuǎn)延遲取決于磁盤轉(zhuǎn)速，通常使用磁盤旋轉(zhuǎn)一周所需時(shí)間的1/2表示)
7200 rpm的磁盤平均旋轉(zhuǎn)延遲大約為60*1000/7200/2 = 4.17ms
10000 rpm的磁盤平均旋轉(zhuǎn)延遲大約為60*1000/10000/2 = 3ms
15000 rpm的磁盤其平均旋轉(zhuǎn)延遲約為60*1000/15000/2 = 2ms
- 數(shù)據(jù)傳輸時(shí)間：忽略不計(jì)(由于磁盤是機(jī)械運(yùn)動(dòng)涨颜，浪費(fèi)的時(shí)間主要在尋道和旋轉(zhuǎn)時(shí)間上)
兩部分組成了硬盤隨機(jī)訪問數(shù)據(jù)的時(shí)間耗費(fèi)：
平均延時(shí)：這個(gè)時(shí)間费韭，其實(shí)就是把盤面旋轉(zhuǎn)，把幾何扇區(qū)對(duì)準(zhǔn)懸臂位置的時(shí)間庭瑰。隨機(jī)情況下星持，平均找到一個(gè)幾何扇區(qū)，需要旋轉(zhuǎn)半圈盤面弹灭。如：7200 轉(zhuǎn)的硬盤督暂，那么一秒里面，就可以旋轉(zhuǎn) 240 個(gè)半圈穷吮。那么逻翁，這個(gè)平均延時(shí)就是
1s / 240 = 4.17ms平均尋道時(shí)間：也就是在盤面旋轉(zhuǎn)之后，懸臂定位到扇區(qū)的的時(shí)間〖裼悖現(xiàn)在用的 HDD 硬盤的平均尋道時(shí)間一般在 4-10ms八回。
所以可得，隨機(jī)在整個(gè)硬盤上找一個(gè)數(shù)據(jù)堰汉，需要 8-14 ms辽社。一塊 7200 轉(zhuǎn)的硬盤，一秒鐘隨機(jī)的 IO 訪問次數(shù)翘鸭，也就是1s / 8 ms = 125 IOPS 或者 1s / 14ms = 70 IOPS滴铅，符合前述HDD 硬盤的 IOPS 每秒 100 次左右。
相應(yīng)的就乓，如果不是去進(jìn)行隨機(jī)的數(shù)據(jù)訪問汉匙，而是進(jìn)行順序的數(shù)據(jù)讀寫拱烁，最大化讀取效率就是：我們可以選擇把順序存放的數(shù)據(jù)，盡可能地存放在同一個(gè)柱面上噩翠。這樣戏自，我們只需要旋轉(zhuǎn)一次盤面，進(jìn)行一次尋道伤锚，就可以去寫入或者讀取擅笔，同一個(gè)垂直空間上的多個(gè)盤面的數(shù)據(jù)。如果一個(gè)柱面上的數(shù)據(jù)不夠屯援，也不要去動(dòng)懸臂猛们，而是通過電機(jī)轉(zhuǎn)動(dòng)盤面，這樣就可以順序讀完一個(gè)磁道上的所有數(shù)據(jù)狞洋。所以弯淘，其實(shí)對(duì)于 HDD 硬盤的順序數(shù)據(jù)讀寫，吞吐率還是很不錯(cuò)的吉懊，可以達(dá)到 200MB/s 左右庐橙。
Linux IO調(diào)度(電梯算法)
https://www.thomas-krenn.com/en/wiki/Linux_Storage_Stack_Diagram
Linux內(nèi)核2.6開始引入了全新的IO調(diào)度子系統(tǒng)，IO調(diào)度器的總體目標(biāo)是希望讓磁頭能夠總是往一個(gè)方向移動(dòng)借嗽，移動(dòng)到底了再往反方向走态鳖，這恰恰就是現(xiàn)實(shí)生活中的電梯模型，所以IO調(diào)度器也被叫做電梯恶导。 (elevator)而相應(yīng)的算法也就被叫做電梯算法郁惜。而Linux中IO調(diào)度的電梯算法有好如下幾種：as(Anticipatory)、cfq(Complete Fairness Queueing)甲锡、deadline兆蕉、noop(No Operation)。具體使用哪種算法我們可以在啟動(dòng)的時(shí)候通過內(nèi)核參數(shù)elevator來指定缤沦，默認(rèn)使用的算法是cfq虎韵。
對(duì)于磁盤I/O，Linux提供了cfq, deadline和noop三種調(diào)度策略
考慮到硬件配置缸废、實(shí)際應(yīng)用場(chǎng)景（讀寫比例包蓝、順序還是隨機(jī)讀寫）的差異，實(shí)際該選擇哪個(gè)基本還是要實(shí)測(cè)來驗(yàn)證企量。不過下面幾條說明供參考：
deadline和noop差異不是太大测萎，但它們倆與cfq差異就比較大。
MySQL這類數(shù)據(jù)存儲(chǔ)系統(tǒng)不要使用cfq（時(shí)序數(shù)據(jù)庫可能會(huì)有所不同）届巩。
Deadline確保了在一個(gè)截止時(shí)間內(nèi)服務(wù)請(qǐng)求,這個(gè)截止時(shí)間是可調(diào)整的,而默認(rèn)讀期限短于寫期限.這樣就防止了寫操作因?yàn)椴荒鼙蛔x取而餓死的現(xiàn)象.Deadline對(duì)數(shù)據(jù)庫環(huán)境(ORACLE RAC,MYSQL等)是最好的選擇硅瞧。
- 對(duì)于虛擬機(jī)上面的磁盤，建議采用比較簡(jiǎn)單的noop恕汇，畢竟數(shù)據(jù)實(shí)際上怎么落盤取決于虛擬化那一層.
NOOP算法
NOOP算法的全寫為No Operation腕唧。該算法實(shí)現(xiàn)了最最簡(jiǎn)單的FIFO隊(duì)列或辖，所有IO請(qǐng)求大致按照先來后到的順序進(jìn)行操作。之所以說“大致”枣接，原因是NOOP在FIFO的基礎(chǔ)上還做了相鄰IO請(qǐng)求的合并颂暇，并不是完完全全按照先進(jìn)先出的規(guī)則滿足IO請(qǐng)求。
假設(shè)有如下的io請(qǐng)求序列：
100但惶，500耳鸯，101，10膀曾，56片拍，1000
NOOP將會(huì)按照如下順序滿足：
100(101)，500妓肢，10，56苫纤，1000
NOOP是在Linux2.4或更早的版本的使用的唯一調(diào)度算法碉钠。由于該算法比較簡(jiǎn)單，減了IO占用CPU中的計(jì)算時(shí)間最少卷拘。不過容易造成IO請(qǐng)求餓死喊废。
NOOP實(shí)現(xiàn)了一個(gè)簡(jiǎn)單的FIFO隊(duì)列,它像電梯的工作一樣對(duì)I/O請(qǐng)求進(jìn)行組織,當(dāng)有一個(gè)新的請(qǐng)求到來時(shí),它將請(qǐng)求合并到最近的請(qǐng)求之后,以此來保證請(qǐng)求同一介質(zhì).
NOOP傾向餓死讀而利于寫.
NOOP對(duì)于閃存設(shè)備,RAM,嵌入式系統(tǒng)是最好的選擇.(寫得快，容易插隊(duì))
關(guān)于IO餓死的描述如下：因?yàn)閷懻?qǐng)求比讀請(qǐng)求更容易栗弟。寫請(qǐng)求通過文件系統(tǒng)cache污筷，不需要等一次寫完成，就可以開始下一次寫操作乍赫，寫請(qǐng)求通過合并瓣蛀，堆積到I/O隊(duì)列中。讀請(qǐng)求需要等到它前面所有的讀操作完成雷厂，才能進(jìn)行下一次讀操作惋增。在讀操作之間有幾毫秒時(shí)間，而寫請(qǐng)求在這之間就到來 改鲫，餓死了后面的讀請(qǐng)求 诈皿。其適用于SSD或Fusion IO環(huán)境下.
Excerpt from ULK3 ch15.3
“ULK3”是“Understanding the Linux Kernel, 3rd Edition”
Unix systems allow the deferred writes of dirty pages into block devices,
because this noticeably improves system performance.
Several write operations on a page in cache could be satisfied by just one slow
physical update of the corresponding disk sectors. Moreover, write operations
are less critical than read operations,
because a process is usually not suspended due to delayed writings,
while it is most often suspended because of delayed reads.
Thanks to deferred writes, each physical block device will service,
on the average, many more read requests than write ones.
CFQ (Complete Fairness Queueing)算法
該算法的特點(diǎn)是按照IO請(qǐng)求的地址進(jìn)行排序，而不是按照先來后到的順序來進(jìn)行響應(yīng)像棘。CFQ為每個(gè)進(jìn)程/線程稽亏，單獨(dú)創(chuàng)建一個(gè)隊(duì)列來管理該進(jìn)程所產(chǎn)生的請(qǐng)求，也就是說每個(gè)進(jìn)程一個(gè)隊(duì)列缕题，各隊(duì)列之間的調(diào)度使用時(shí)間片來調(diào)度截歉，以此來保證每個(gè)進(jìn)程都能被很好的分配到I/O帶寬。假設(shè)有如下的io請(qǐng)求序列：
100烟零，500怎披，101胸嘁，10，56凉逛，1000
CFQ將會(huì)按照如下順序滿足：
100性宏，101，500状飞，1000毫胜，10，56
在傳統(tǒng)的SAS盤上诬辈，磁盤尋道花去了絕大多數(shù)的IO響應(yīng)時(shí)間酵使。CFQ的出發(fā)點(diǎn)是對(duì)IO地址進(jìn)行排序，以盡量少的磁盤旋轉(zhuǎn)次數(shù)來滿足盡可能多的IO請(qǐng)求焙糟。在CFQ算法下口渔，SAS盤的吞吐量大大提高了。但是相比于NOOP的缺點(diǎn)是穿撮，先來的IO請(qǐng)求并不一定能被滿足缺脉，也可能會(huì)出現(xiàn)餓死的情況，不過其作為最新的內(nèi)核版本和發(fā)行版中默認(rèn)的I/O調(diào)度器悦穿，對(duì)于通用的服務(wù)器也是最好的選擇攻礼。CFQ是deadline和as調(diào)度器的折中，CFQ對(duì)于多媒體應(yīng)用(video栗柒，audio)和桌面系統(tǒng)是最好的選擇礁扮。
DEADLINE算法
DEADLINE在CFQ的基礎(chǔ)上，解決了IO請(qǐng)求餓死的極端情況瞬沦。除了CFQ本身具有的IO排序隊(duì)列之外太伊，DEADLINE額外分別為讀IO和寫IO提供了FIFO隊(duì)列。讀FIFO隊(duì)列的最大等待時(shí)間為500ms逛钻，寫FIFO隊(duì)列的最大等待時(shí)間為5s倦畅。FIFO隊(duì)列內(nèi)的IO請(qǐng)求優(yōu)先級(jí)要比CFQ隊(duì)列中的高，而讀FIFO隊(duì)列的優(yōu)先級(jí)又比寫FIFO隊(duì)列的優(yōu)先級(jí)高绣的。優(yōu)先級(jí)可以表示如下:
FIFO(Read) > FIFO(Write) > CFQ
Deadline確保了在一個(gè)截止時(shí)間內(nèi)服務(wù)請(qǐng)求叠赐，這個(gè)截止時(shí)間是可調(diào)整的，而默認(rèn)讀期限短于寫期限屡江。這樣就防止了寫操作因?yàn)椴荒鼙蛔x取而餓死的現(xiàn)象芭概。Deadline對(duì)數(shù)據(jù)庫環(huán)境(ORACLE RAC，MYSQL等)是最好的選擇惩嘉。
ANTICIPATORY(預(yù)期)算法
CFQ和DEADLINE考慮的焦點(diǎn)在于滿足零散IO請(qǐng)求上罢洲。對(duì)于連續(xù)的IO請(qǐng)求，比如順序讀，并沒有做優(yōu)化惹苗。為了滿足隨機(jī)IO和順序IO混合的場(chǎng)景殿较，Linux還支持ANTICIPATORY調(diào)度算法。ANTICIPATORY的在DEADLINE的基礎(chǔ)上桩蓉，為每個(gè)讀IO都設(shè)置了6ms的等待時(shí)間窗口淋纲。如果在這6ms內(nèi)OS收到了相鄰位置的讀IO請(qǐng)求，就可以立即滿足院究。
本質(zhì)上與Deadline一樣洽瞬，但在最后一次讀操作后，要等待6ms业汰，才能繼續(xù)進(jìn)行對(duì)其它I/O請(qǐng)求進(jìn)行調(diào)度伙窃。可以從應(yīng)用程序中預(yù)訂一個(gè)新的讀請(qǐng)求样漆，改進(jìn)讀操作的執(zhí)行为障，但以一些寫操作為代價(jià)。它會(huì)在每個(gè)6ms中插入新的I/O操作放祟，而會(huì)將一些小寫入流合并成一個(gè)大寫入流鳍怨，用寫入延時(shí)換取最大的寫入吞吐量。AS適合于寫入較多的環(huán)境舞竿，比如文件服務(wù)器，但對(duì)對(duì)數(shù)據(jù)庫環(huán)境表現(xiàn)很差窿冯。
IO調(diào)度配置
查看當(dāng)前系統(tǒng)支持的IO調(diào)度算法
root@harry:~# cat /sys/block/sda/queue/scheduler
noop deadline [cfq]
root@harry:/# cat /sys/block/sda/queue/scheduler
[mq-deadline] none
root@harry:/# cat /sys/block/sda/queue/scheduler
[mq-deadline] none
修改調(diào)度策略
root@harry:/# echo none > /sys/block/sda/queue/scheduler
root@harry:/# cat /sys/block/sda/queue/scheduler
[none] mq-deadline
永久修改調(diào)度策略
修改內(nèi)核引導(dǎo)參數(shù)骗奖，加入elevator=調(diào)度程序名
總結(jié)
CFQ和DEADLINE考慮的焦點(diǎn)在于滿足零散IO請(qǐng)求上。對(duì)于連續(xù)的IO請(qǐng)求醒串，比如順序讀执桌，并沒有做優(yōu)化。為了滿足隨機(jī)IO和順序IO混合的場(chǎng)景芜赌，Linux還支持ANTICIPATORY調(diào)度算法仰挣。ANTICIPATORY的在DEADLINE的基礎(chǔ)上，為每個(gè)讀IO都設(shè)置了6ms的等待時(shí)間窗口缠沈。如果在這6ms內(nèi)OS收到了相鄰位置的讀IO請(qǐng)求膘壶，就可以立即滿足。
IO調(diào)度器算法的選擇洲愤，既取決于硬件特征颓芭，也取決于應(yīng)用場(chǎng)景。
在傳統(tǒng)的SAS盤上柬赐，CFQ亡问、DEADLINE、ANTICIPATORY都是不錯(cuò)的選擇肛宋；對(duì)于專屬的數(shù)據(jù)庫服務(wù)器州藕，DEADLINE的吞吐量和響應(yīng)時(shí)間都表現(xiàn)良好束世。然而在新興的固態(tài)硬盤比如SSD、Fusion IO上床玻，最簡(jiǎn)單的NOOP反而可能是最好的算法毁涉，因?yàn)槠渌齻€(gè)算法的優(yōu)化是基于縮短尋道時(shí)間的，而固態(tài)硬盤沒有所謂的尋道時(shí)間且IO響應(yīng)時(shí)間非常短笨枯。
參考文章
https://blog.csdn.net/BaiWfg2/article/details/52885287
https://www.thomas-krenn.com/en/wiki/Linux_Storage_Stack_Diagram
