【大話存儲】學(xué)習(xí)筆記(14章), 虛擬化

操作系統(tǒng)對硬件的虛擬化

操作系統(tǒng):就是為其他程序提供編寫和運(yùn)行環(huán)境的程序檩淋。

由程序來運(yùn)行程序芬为,而不是程序自己來運(yùn)行,這是操作系統(tǒng)提供的虛擬化的表現(xiàn)蟀悦。

加電之后媚朦,首先運(yùn)行OS,隨時可以載入其他程序執(zhí)行日戈。執(zhí)行完以后切換回OS本身询张。

但是每次還是要等待這個程序執(zhí)行完畢,才能接著載入下個程序執(zhí)行浙炼。任何中斷事件瑞侮,都會中斷正在運(yùn)行的程序的圆。

程序執(zhí)行完畢,會將CPU歸還給OS半火。從而繼續(xù)OS本身的運(yùn)行越妈。這種操作系統(tǒng)就是單任務(wù)操作系統(tǒng),典型代表就是DOS钮糖。

而批處理就是操作系統(tǒng)將多個程序一個一個的排列起來梅掠。省去了人為載入的過程。所以批處理操作系統(tǒng)相對單任務(wù)來說又進(jìn)了一步店归,但是本質(zhì)仍然是一個程序獨(dú)占資源阎抒。

再后來操作系統(tǒng)針對系統(tǒng)時鐘中斷開發(fā)了中斷服務(wù)程序,也就是多任務(wù)OS中的調(diào)度程序消痛。

中斷來臨且叁,CPU根據(jù)中斷向量表的內(nèi)容,指向調(diào)度程序所在的內(nèi)存地址入口秩伞,執(zhí)行調(diào)度程序的代碼逞带。
調(diào)度程序?qū)PU的執(zhí)行跳轉(zhuǎn)到各個應(yīng)用程序所在的內(nèi)存地址入口。

從微觀上看纱新,每個應(yīng)用程序獨(dú)占CPU展氓,但是時間非常小10ms,從宏觀上看就是同時執(zhí)行多個任務(wù)脸爱。

多任務(wù)操作系統(tǒng)的關(guān)鍵就是有多任務(wù)調(diào)度程序遇汞。

image.png

虛擬化的好處

虛擬化的好處是,將下層復(fù)雜的邏輯轉(zhuǎn)換為上層簡單的邏輯簿废,方便人類讀懂空入。

其實(shí)整個計算機(jī)技術(shù)就是抽象、封裝族檬、虛擬执庐、映射的過程。就連CPU也在想辦法把功能封裝到CPU的邏輯電路里面导梆,從而出現(xiàn)了更多的指令集轨淌。1.6GHz的酷睿雙核CPU性能比主頻3GHz的奔騰4代CPU更高。

計算機(jī)存儲子系統(tǒng)的虛擬化

存儲子系統(tǒng)主要分為:

  • 磁盤
  • 磁盤控制器
  • 存儲網(wǎng)絡(luò)
  • 磁盤陣列
  • 卷管理層
  • 目錄虛擬層
  • 文件系統(tǒng)虛擬層

下面將介紹這些子系統(tǒng)如何進(jìn)行抽象虛擬的看尼。

磁盤控制器的虛擬化

控制器的工作就是根據(jù)驅(qū)動程序發(fā)來的磁盤讀寫信息递鹉,向磁盤發(fā)送SCSI指令和數(shù)據(jù)。

所以磁盤控制器完全可以對驅(qū)動程序隱藏下掛的物理磁盤藏斩。而虛擬出一個或者多個虛擬磁盤躏结。RAID就是典型代表≌颍控制器將物理磁盤組成RAID Group媳拴,然后在RG的基礎(chǔ)上虛擬出多個LUN黄橘,通告給主機(jī)驅(qū)動。

存儲網(wǎng)絡(luò)的虛擬化

在交換式SAN中屈溉,任何節(jié)點(diǎn)都是通過交換設(shè)備來進(jìn)行通信的塞关,如果在交換節(jié)點(diǎn)上做些手腳,就可以達(dá)到虛擬化的效果子巾。

我們可以在交換機(jī)上嵌入SCSI協(xié)議感知模塊帆赢。,SCSI發(fā)起設(shè)備向目標(biāo)設(shè)備傳輸?shù)臄?shù)據(jù)线梗,經(jīng)過交換機(jī)椰于,會主動復(fù)制對應(yīng)的幀到另一個節(jié)點(diǎn)的LUN上,形成鏡像仪搔。若一個節(jié)點(diǎn)故障瘾婿,則會將數(shù)據(jù)重定向到鏡像的LUN上。

還可以將某些N節(jié)點(diǎn)的LUN合并成烤咧,然后動態(tài)的從這個池中分出虛擬LUN

磁盤陣列的虛擬化

磁盤陣列本來就是一個小計算機(jī)系統(tǒng)偏陪,是對存儲子系統(tǒng)的抽象虛擬化最佳表現(xiàn)。

何為磁盤陣列髓削,指的是將大量磁盤進(jìn)行組織管理,抽象虛擬成邏輯磁盤镀娶。通過和主機(jī)適配器通信立膛,呈現(xiàn)給主機(jī)。

盤陣控制器的角色都是不直接參與連接每塊磁盤梯码,而是利用后端適配器來管理下掛的磁盤

適配器就是中心控制器驅(qū)動的二級磁盤控制器宝泵。作為中心CPU的IO適配器,直接控制和管理物理磁盤轩娶,然后由中心控制器統(tǒng)一實(shí)現(xiàn)RAID儿奶、卷管理等功能。

后端適配器與中心控制器CPU之間通過PCIX總線等連接鳄抒。

中心控制器不但可以實(shí)現(xiàn)最基本的RAID功能闯捎,還可以實(shí)現(xiàn)LUN鏡像、快照许溅、遠(yuǎn)程復(fù)制瓤鼻、CDP數(shù)據(jù)保護(hù)、LUN再分配等贤重。

卷管理層

運(yùn)行在應(yīng)用主機(jī)上的功能模塊茬祷,對底層的物理磁盤或者LUN搜集再分配。

對盤陣控制器虛擬化之后的LUN再虛擬化并蝗,

  • 比如進(jìn)行鏡像處理祭犯,

  • 或者對其中的多個LUN做成軟RAID 秸妥。

  • 再或者將所有的LUN合并形成資源池。

然后掰成多個沃粗。

文件系統(tǒng)

SAN存儲解決的是怎么記錄的問題粥惧,文件系統(tǒng)解決的是怎么組織磁盤的數(shù)據(jù)

需要在相應(yīng)的地方做標(biāo)記,通過一個鏈表一次一次指引找出完整的數(shù)據(jù)陪每。

把鏈表單獨(dú)做成一個記錄影晓,放在固定的位置,可以通過表找出一條數(shù)據(jù)在磁盤上的完整分布檩禾。利用這種思想做出來的文件系統(tǒng)挂签,比如FAT文件系統(tǒng),把每個完整數(shù)據(jù)稱為文件盼产。

文件分配表:FAT , File Allocate Table文件可以在磁盤不連續(xù)的存放饵婆,由單獨(dú)數(shù)據(jù)結(jié)構(gòu)來描述文件在磁盤的分布,

NTFS:給出文件在磁盤上的具體扇區(qū)戏售,利用“開始——結(jié)束”這樣的結(jié)構(gòu)來描述文件的分布情況侨核。

文件系統(tǒng)將磁盤抽象成了文件柜,同一份文件放在柜子的不同抽屜灌灾,利用元數(shù)據(jù) 來記錄“文件——對應(yīng)抽屜” 的分布情況搓译。

描述其他文件分布情況及屬性的文件,元文件Metadata

文件系統(tǒng)是對磁盤塊的虛擬锋喜、抽象些己、組織和管理。只需要訪問文件嘿般,就等于訪問了扇區(qū)段标。

目錄虛擬層

操作系統(tǒng)中有一個虛擬目錄結(jié)構(gòu),在linux中叫VFS炉奴。--

虛擬文件系統(tǒng)逼庞,也就是說文件系統(tǒng)的目錄不是真實(shí)的,任何的文件系統(tǒng)可以掛在目錄下瞻赶。成為虛擬目錄的子目錄赛糟,可以增強(qiáng)靈活性。

其次砸逊,OS外部設(shè)備虛擬成一個虛擬文件虑灰,比如卷。/dev/hda

磁盤——控制器——存儲網(wǎng)絡(luò)——總線適配器——卷管理層——文件系統(tǒng)——虛擬目錄層和最終應(yīng)用層

image.png

帶內(nèi)虛擬化和帶虛擬化

  • 帶內(nèi) InBand :控制指令和數(shù)據(jù)包走同一路線痹兜,所謂控制指令指的是控制數(shù)據(jù)流向的數(shù)據(jù)穆咐,如IP路由協(xié)議產(chǎn)生的數(shù)據(jù)包,它也是利用實(shí)際數(shù)據(jù)線路進(jìn)行傳輸。

  • 帶外 OutBand:控制指令走單獨(dú)的路線对湃。

帶外和帶內(nèi)虛擬化:

  • 帶內(nèi)虛擬化:進(jìn)行虛擬化的設(shè)備直接橫在發(fā)起者和目標(biāo)路徑之間崖叫,也就是串在同一路徑上,作為一個“泵”

  • 帶外虛擬化:旁路拍柒,用這條路徑來走控制信號心傀,而實(shí)際數(shù)據(jù)還是由發(fā)起者直接走向目標(biāo)。發(fā)起者必須先咨詢旁路的虛擬化設(shè)備拆讯,經(jīng)過提示之后脂男,才根據(jù)虛擬化設(shè)備的指示直接向目標(biāo)請求數(shù)據(jù)

硬網(wǎng)絡(luò)與軟網(wǎng)絡(luò)

硬網(wǎng)絡(luò)

硬件網(wǎng)絡(luò)設(shè)備其功能還是靠軟件來實(shí)現(xiàn)的,特別是路由設(shè)備种呐,本質(zhì)是一臺Server宰翅,上面運(yùn)行著處理數(shù)據(jù)包的程序。

所以硬件網(wǎng)絡(luò)環(huán)境實(shí)際上是用一部分PC充當(dāng)網(wǎng)絡(luò)硬件設(shè)備爽室,其他PC利用網(wǎng)絡(luò)設(shè)備的PC實(shí)現(xiàn)通信

軟件網(wǎng)絡(luò)程序

message queue和Message Broker在硬件網(wǎng)絡(luò)設(shè)備 的基礎(chǔ)上汁讼,模擬出一個純軟件的網(wǎng)絡(luò)轉(zhuǎn)發(fā)引擎。

MQ:消息轉(zhuǎn)發(fā)器阔墩『偌埽客戶端通過TCP/IP與之相連,將消息轉(zhuǎn)發(fā)到這個轉(zhuǎn)發(fā)器上啸箫,然后根據(jù)策略將消息轉(zhuǎn)發(fā)到其他客戶端上耸彪。類似于交換機(jī),不過MQ的鏈路層由TCP/IP來充當(dāng)

MB:應(yīng)用邏輯轉(zhuǎn)發(fā)引擎忘苛。應(yīng)用層次的轉(zhuǎn)發(fā)蝉娜,類似郵件服務(wù)器。只不過可轉(zhuǎn)發(fā)各種格式的數(shù)據(jù)包柑土。

image.png

多虛一

HPC

HPC主要分為兩類:

  • CPU密集運(yùn)算:專門用來計算數(shù)據(jù)蜀肘,稱為計算節(jié)點(diǎn)

  • IO密集運(yùn)算:專門用來存儲計算過程中所需要提取或者存放的數(shù)據(jù)绊汹,稱為存儲節(jié)點(diǎn)

計算節(jié)點(diǎn)看做CPU和內(nèi)存稽屏,存儲節(jié)點(diǎn)看做硬盤。對獨(dú)立的PC西乖,CPU內(nèi)存與硬盤的連接為高速IO總線狐榔,如PCIe

但是對HPC ,有些利用Infiniband有些利用以太網(wǎng)获雕。前者一般適用于IO密集運(yùn)算薄腻,后者用于CPU密集運(yùn)算。

Web + APP + db

客戶端通過Web服務(wù)器獲得網(wǎng)頁届案,應(yīng)用邏輯由APP服務(wù)器處理庵楷。最后通過Web服務(wù)器進(jìn)行展現(xiàn)。

可以把Web看做顯示終端,APP看做CPU和內(nèi)存尽纽,將DB看做硬盤

一虛多

計算虛擬化:模擬硬件系統(tǒng)咐蚯,將程序?qū)@個硬件系統(tǒng)CPU發(fā)送的指令經(jīng)過處理之后,加以虛擬傳到物理CPU上弄贿。比如Vmware的ESX

用磁盤陣列來虛擬磁帶庫

VTL,Virtual Tape Lib

要提高磁帶庫的速度春锋,只能多個驅(qū)動器同時工作,成本高差凹。

VTL使用磁盤來存儲數(shù)據(jù)而不是磁帶期奔,虛擬出機(jī)械手、磁帶驅(qū)動器危尿、磁帶

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末呐萌,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子脚线,更是在濱河造成了極大的恐慌搁胆,老刑警劉巖,帶你破解...
    沈念sama閱讀 207,113評論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件邮绿,死亡現(xiàn)場離奇詭異渠旁,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)船逮,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,644評論 2 381
  • 文/潘曉璐 我一進(jìn)店門顾腊,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人挖胃,你說我怎么就攤上這事杂靶。” “怎么了酱鸭?”我有些...
    開封第一講書人閱讀 153,340評論 0 344
  • 文/不壞的土叔 我叫張陵吗垮,是天一觀的道長。 經(jīng)常有香客問我凹髓,道長烁登,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 55,449評論 1 279
  • 正文 為了忘掉前任蔚舀,我火速辦了婚禮饵沧,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘赌躺。我一直安慰自己狼牺,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 64,445評論 5 374
  • 文/花漫 我一把揭開白布礼患。 她就那樣靜靜地躺著是钥,像睡著了一般掠归。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上悄泥,一...
    開封第一講書人閱讀 49,166評論 1 284
  • 那天拂到,我揣著相機(jī)與錄音,去河邊找鬼码泞。 笑死兄旬,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的余寥。 我是一名探鬼主播领铐,決...
    沈念sama閱讀 38,442評論 3 401
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼宋舷!你這毒婦竟也來了绪撵?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 37,105評論 0 261
  • 序言:老撾萬榮一對情侶失蹤祝蝠,失蹤者是張志新(化名)和其女友劉穎音诈,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體绎狭,經(jīng)...
    沈念sama閱讀 43,601評論 1 300
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡细溅,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,066評論 2 325
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了儡嘶。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片喇聊。...
    茶點(diǎn)故事閱讀 38,161評論 1 334
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖蹦狂,靈堂內(nèi)的尸體忽然破棺而出誓篱,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 33,792評論 4 323
  • 正文 年R本政府宣布,位于F島的核電站餐曹,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏邻遏。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,351評論 3 307
  • 文/蒙蒙 一鸥拧、第九天 我趴在偏房一處隱蔽的房頂上張望党远。 院中可真熱鬧削解,春花似錦富弦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,352評論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春盏缤,著一層夾襖步出監(jiān)牢的瞬間砰蠢,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 31,584評論 1 261
  • 我被黑心中介騙來泰國打工唉铜, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留台舱,地道東北人。 一個月前我還...
    沈念sama閱讀 45,618評論 2 355
  • 正文 我出身青樓潭流,卻偏偏與公主長得像竞惋,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子灰嫉,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 42,916評論 2 344

推薦閱讀更多精彩內(nèi)容