集群

集群的定義：大于等于兩臺的主機形成HA高可用集群，在一起實現(xiàn)商業(yè)目標(biāo)。

HA解決了業(yè)務(wù)連續(xù)性的問題惭缰，不再受制于一臺物理服務(wù)器故障業(yè)務(wù)中斷的風(fēng)險，實現(xiàn)秒級切換業(yè)務(wù)父款，用戶無感知。

VRM：Virtual?Resource?Management? 虛擬資源管理?

功能：1實現(xiàn)管理頁面功能 ? ?2對集群的監(jiān)控管理功能? ? 3提供心跳

環(huán)境：1管理的CNA節(jié)點大于50臺，建議建立在物理機上? ? 2管理的CNA節(jié)點小于50憨攒，建議虛擬化部署

通過VRM管理CNA世杀，同時VRM是部署在CNA上的

CNA：Compute?Node?Agent? 計算節(jié)點代理

功能：1提供計算、網(wǎng)絡(luò)資源? ? 2提供本地存儲

本質(zhì)：OS(功能是優(yōu)化加固肝集，無圖形化界面) + KVM虛擬化套件

6.3.0以前是CentOS瞻坝，6.3.0以后是EulerOS

服務(wù)器遠(yuǎn)程管理卡BMC：默認(rèn)密碼root/Huaiwei@123

CNA底層：gandalf /?IaaS@OS-CLOUD9！

VM：運行在CNA上的虛擬機

本質(zhì)：OVA文件 或?OVF文件+VHD磁盤映像文件（配置文件 +?磁盤文件）

共享存儲：實現(xiàn)HA等高級特性（遷移杏瞻、DRS）所刀，為CNA提供共享硬盤

HA實現(xiàn)原理：VRM和VRM，VRM和CNA捞挥，CNA通過tools和VM之間通過心跳線判斷節(jié)點是否故障浮创，每50ms發(fā)送一次心跳報文確認(rèn)各個主機狀態(tài)，一旦失去心跳砌函，立刻切換斩披。

VRM主機一直處于工作狀態(tài)，備機不工作胸嘴，一直同步來自主機的數(shù)據(jù)雏掠，當(dāng)觸發(fā)HA時斩祭，切換劣像。如果主備節(jié)點同時工作，會導(dǎo)致腦裂（所得數(shù)據(jù)不一致）摧玫。

注意：為了避免意外觸發(fā)HA耳奕，必須要保證節(jié)點間的延遲時間小于等于2ms。

在同一套fusioncompute里根據(jù)多種情況劃分多個集群

1根據(jù)業(yè)務(wù)不同（資源隔離诬像，保證部分業(yè)務(wù)故障屋群，不影響整體）

2根據(jù)硬件不同（不同物理服務(wù)器的CPU內(nèi)存不能在一個集群中）

3根據(jù)指令集（x86或ARM互相不兼容）

全虛擬化??

用虛擬化軟件翻譯指令，虛擬機通過虛擬化軟件找物理CPU內(nèi)存要資源坏挠，物理機分配資源給虛擬化軟件芍躏，再由虛擬化軟件分配給虛擬機，導(dǎo)致效率很低降狠，

半虛擬化??

在內(nèi)核中加入system?call?進(jìn)行指令集攔截和翻譯对竣。

硬件輔助虛擬化?

CPU和內(nèi)存基于硬件輔助虛擬化

VT-X用于標(biāo)記VM是一臺虛擬機，則VM大部分指令可以直接運行在CPU之上榜配，只有19條敏感指令集需要經(jīng)過VMM（內(nèi)存管理單元）攔截并轉(zhuǎn)換否纬，丟給物理內(nèi)核來運行。

?VirtIO半虛擬化硬件

網(wǎng)卡和硬盤是基于半虛擬化驅(qū)動VIRTIO?PV Drive

特殊的驅(qū)動蛋褥，讓虛擬機知道自身是虛擬機临燃，從而對虛擬網(wǎng)卡和硬盤進(jìn)行優(yōu)化。

磁盤-總線類型-VirtIO

==================================================================================

創(chuàng)建集群

1開啟內(nèi)存復(fù)用

作用：在整個集群中開啟的虛擬機分配的內(nèi)存超過物理主機的內(nèi)存之和（已分配>總?cè)萘浚?/p>

原理：一塊物理內(nèi)存可能提供給多臺虛擬機使用，按需分配內(nèi)存資源

限制：生產(chǎn)環(huán)境超分比例不能超過150%

開啟優(yōu)勢：提高虛擬機開機密度? ? ? ? ? ? ????????????????????????????關(guān)閉優(yōu)勢：提高虛擬機的性能

2虛擬機啟動策略

負(fù)載均衡：系統(tǒng)會根據(jù)所有CNA的CPU和內(nèi)存的權(quán)重膜廊，選擇資源使用最少的主機來運行（適用于空閑資源較多時）

自動分配：選擇一個能滿足該虛擬機開機的主機來運行（適用于所有主機的資源占用都比較滿的情況下）

3虛擬機NUMA架構(gòu)自動調(diào)整

UMA：一致性內(nèi)存訪問（Unified?Memory?Architeture?）

NUMA：非一致性內(nèi)存訪問

1過去內(nèi)存和CPU交換資源的瓶頸在FSB前端總線乏沸，可以理解為出行高峰時車擠滿了道路，堵塞交通溃论，運算能力降低屎蜓。為了解決這個問題將FSB改進(jìn)成了QPI，可以理解為不走一條道路而是劃分了很多條“井”字路钥勋，某一個十字節(jié)點故障后炬转，仍然可以從其它道路走，從而提高CPU和內(nèi)存的利用率算灸。

2QPI是把CPU和內(nèi)存綁定在一個區(qū)域里獲取資源扼劈，這個區(qū)域叫做NUMA?NODE，在同一區(qū)域內(nèi)會盡量滿足本區(qū)域的資源需求菲驴，發(fā)現(xiàn)實在不夠的情況下荐吵，才會向其它區(qū)域申請資源，保證了整體業(yè)務(wù)的穩(wěn)定性赊瞬。

4主機相關(guān)故障和響應(yīng)策略

HA虛擬機：主機故障后先煎，將虛擬機遷移到其它正常主機節(jié)點跑VM（默認(rèn)）

原主機恢復(fù)虛擬機：主機故障后，VM不遷移巧涧，等主機恢復(fù)后薯蝎，VM恢復(fù)

5主機數(shù)據(jù)存儲故障策略

不處理：主機故障后，不進(jìn)行任何操作（默認(rèn)谤绳，適用于共享存儲）

HA虛擬機：主機故障后占锯，將虛擬機數(shù)據(jù)遷移到其它正常主機節(jié)點

6延遲策略

在CNA和共享存儲之間的心跳線，實時確認(rèn)彼此狀態(tài)缩筛，來判斷是否觸發(fā)策略消略。

1如果設(shè)置延遲策略X分鐘，心跳中斷的時間小于X分鐘瞎抛，就不觸發(fā)上述策略艺演。

2如果設(shè)置延遲策略X分鐘，心跳中斷的時間大于X分鐘桐臊，就觸發(fā)策略

3生產(chǎn)環(huán)境會有某個時間點存在間歇性故障（數(shù)據(jù)量大胎撤、壓力大，但幾分鐘后就恢復(fù)正常了）所以設(shè)置的延遲策略時間過短會導(dǎo)致資源浪費和反復(fù)HA導(dǎo)致集群性能下降豪硅。

7虛擬機故障和響應(yīng)策略

1不處理? ? 2重啟? ? 3HA? ? 4關(guān)閉

前提條件：虛擬機必須安裝tools（虛擬機驅(qū)動程序）哩照，運行tools來監(jiān)控和管理CPU、內(nèi)存和磁盤資源懒浮，根據(jù)VRM上資源的利用率可以判斷是否安裝tools飘弧，利用率都為0就是沒有安裝识藤。

實現(xiàn)原理：CNA通過向tools發(fā)心跳報文實現(xiàn)，再由CNA回包給VRM實現(xiàn)（沒有tools的VM不能和CNA/VRM通訊）

8接入控制

HA資源預(yù)留設(shè)置：預(yù)留總資源的百分比次伶，預(yù)留資源越多痴昧，利用率就越低，適用于預(yù)留超過兩臺太浪費資源冠王，預(yù)留一臺資源利用率太低赶撰。

集群允許主機故障設(shè)置：可以設(shè)置故障主機數(shù)，如果有10主機柱彻，設(shè)置1故障主機數(shù)豪娜，那么每一臺主機只能使用總資源的90%，一旦超過90%,集群不允許虛擬機開機哟楷×鲈兀可以自定義設(shè)置預(yù)留的CPU、內(nèi)存的插槽數(shù)目卖擅。

華為官方建議每10臺主機預(yù)留1臺主機鸣奔，數(shù)量越大，預(yù)留的主機數(shù)量可以相應(yīng)減少惩阶，例如100臺預(yù)留3臺即可挎狸，因為同時損壞3臺主機概率極低。

9群體性故障控制

如上断楷，是理想環(huán)境下?lián)p壞預(yù)留主機數(shù)以內(nèi)的锨匆，不影響業(yè)務(wù)。如果一旦損壞多臺設(shè)備脐嫂，集群的處理措施统刮。

故障控制時間：在X小時內(nèi)紊遵，完成CNA上所有虛擬機的遷移

允許處理的虛擬機個數(shù)：

1同時損壞多臺設(shè)備账千，隨機挑選兩個CNA上的所有虛擬機進(jìn)行遷移恢復(fù)到其它主機。

2多臺設(shè)備一臺臺損壞暗膜，恢復(fù)最先損壞的兩臺主機設(shè)備匀奏。

10分布式資源調(diào)度

DRS： Distributed?Resource?Scheduler 解決主機負(fù)載不均衡的問題，互相遷移学搜，保持CNA主機均衡

手動：檢測到不均衡娃善，提示用戶將某虛擬機遷移到主機上，需要人工確認(rèn)執(zhí)行瑞佩。

自動：檢測到不均衡聚磺，自動遷移，無需確認(rèn)炬丸。

調(diào)度基線：CPU瘫寝、內(nèi)存蜒蕾、CPU和內(nèi)存（兩者滿足其中一個即可）配置觸發(fā)DRS的資源比例

遷移閾值：保守（能不遷移就不遷移）<-----中等------>激進(jìn)（能遷移就遷移）可以根據(jù)時間段劃分（時、日焕阿、月）

11分布式電源管理

DPM：Distributed?Power?Management

解決節(jié)能問題咪啡，例如1000CNA，10000VM在忙碌時集群利用率很高暮屡，在空閑時可能只需要不到一半的CNA撤摸，整體利用率很低，很浪費資源褒纲，所以在空閑時檢測資源利用率過低准夷，觸發(fā)DPM，關(guān)閉部分CNA主機節(jié)約能源莺掠。

前提條件：在添加CNA主機時冕象，配置BMC

遷移閾值：保守（能不關(guān)機就不關(guān)機）<-----中等------>激進(jìn)（能不開機就不開機）可以根據(jù)時間段劃分（時、日汁蝶、月）

12不兼容遷移集群

IMC：incompatible?migration?cluster

Intel在兩年的周期里渐扮，會對CPU進(jìn)行升級換代，一年升級架構(gòu)掖棉，一年升級生產(chǎn)工藝墓律。兩年后，客戶需要擴容新的服務(wù)器時幔亥，解決新服務(wù)器imc模式能向下兼容老服務(wù)器的功能耻讽。

13全虛擬化和半虛擬化

內(nèi)核是個大管家，想象你的機器上跑著很多的程序帕棉，有word针肥，有excel，看著視頻香伴，聽著音樂慰枕，每個程序都要使用CPU和內(nèi)存，都要上網(wǎng)即纲，都要存硬盤具帮，如果沒有一個大管家管著，大家隨便用低斋，就亂了蜂厅。所以需要管家來協(xié)調(diào)調(diào)度整個資源，誰先用膊畴，誰后用掘猿，誰用多少，誰放在這里唇跨，誰放在那里稠通，都需要管家操心礁遵。

所以在這個計算機大家庭里面，管家有著比普通的程序更高的權(quán)限采记，運行在內(nèi)核態(tài)佣耐，而其他的普通程序運行在用戶態(tài)，用戶態(tài)的程序一旦要申請公共的資源唧龄，就需要向管家申請兼砖，管家?guī)退峙浜茫拍苡谩?/p>

為了區(qū)分內(nèi)核態(tài)和用戶態(tài)既棺，CPU專門設(shè)置四個特權(quán)等級0,1,2,3 來做這個事情讽挟。

當(dāng)時寫Linux內(nèi)核的時候，估計大牛們還不知道將來虛擬機會大放異彩丸冕，大牛們想耽梅，一共兩級特權(quán)，一個內(nèi)核態(tài)胖烛，一個用戶態(tài)眼姐，卻有四個等級，好奢侈佩番，好富裕众旗，就敞開了用，內(nèi)核態(tài)運行在第0等級趟畏，用戶態(tài)運行在第3等級贡歧，占了兩頭，太不會過日子了赋秀。

大牛們在寫Linux內(nèi)核的時候利朵，如果用戶態(tài)程序做事情，就將扳手掰到第3等級猎莲，一旦要申請使用更多的資源绍弟，就需要申請將扳手掰到第0等級，內(nèi)核才能在高權(quán)限訪問這些資源益眉，申請完資源晌柬，返回到用戶態(tài)姥份，扳手再掰回去郭脂。

這個程序一直非常順利的運行著，直到虛擬機的出現(xiàn)澈歉。

如果大家用過Vmware桌面版展鸡，或者Virtualbox桌面版，你可以用這個虛擬化軟件創(chuàng)建虛擬機埃难，在虛擬機里面安裝一個Linux或者windows莹弊，外面的操作系統(tǒng)也可以是Linux或者Windows涤久。

當(dāng)你使用虛擬機軟件的時候，和你的excel一樣忍弛，都是在你的任務(wù)欄里面并排的放著响迂，是一個普通的應(yīng)用。

當(dāng)你進(jìn)入虛擬機的時候细疚，虛擬機里面的excel也是一個普通的應(yīng)用蔗彤。

但是當(dāng)你設(shè)身處地的站在虛擬機里面的內(nèi)核的角度思考一下人生，你就困惑了疯兼，我到底個啥然遏？

在硬件上的操作系統(tǒng)來看，我是一個普通的應(yīng)用吧彪，只能運行在用戶態(tài)待侵。可是大牛們生我的時候姨裸，我的每一行代碼秧倾，都告訴我，我是個內(nèi)核啊傀缩，應(yīng)該運行在內(nèi)核態(tài)中狂，當(dāng)虛擬機里面的excel要訪問網(wǎng)絡(luò)的時候，向我請求扑毡，我的代碼就要努力的去操作網(wǎng)絡(luò)資源胃榕，我努力，但是我做不到瞄摊，我沒有權(quán)限勋又！

我分裂了。

虛擬化層换帜，也就是Vmware或者Virtualbox需要幫我解決這個問題楔壤。

第一種方式，完全虛擬化惯驼，其實就是騙我蹲嚣。虛擬化軟件模擬假的CPU，內(nèi)存祟牲，網(wǎng)絡(luò)隙畜，硬盤給我，讓我自我感覺良好说贝，終于又像個內(nèi)核了议惰。

真正的工作模式是這樣的。

虛擬機內(nèi)核：我要在CPU上跑一個指令乡恕！

虛擬化軟件：沒問題言询，你是內(nèi)核嘛俯萎，可以跑

虛擬化軟件轉(zhuǎn)過頭去找物理機內(nèi)核：報告管家，我管理的虛擬機里面的一個要執(zhí)行一個CPU指令运杭，幫忙來一小段時間空閑的CPU時間夫啊，讓我代他跑個指令。

物理機內(nèi)核：你等著辆憔，另一個跑著呢涮母。好嘞，他終于跑完了躁愿，該你了叛本。

虛擬化軟件：我代他跑，終于跑完了彤钟，出來結(jié)果了

虛擬化軟件轉(zhuǎn)頭給虛擬機內(nèi)核：哥們来候，跑完了，結(jié)果是這個逸雹，我說你是內(nèi)核吧营搅，絕對有權(quán)限，沒問題梆砸，下次跑指令找我啊转质。

虛擬機內(nèi)核：看來我真的是內(nèi)核呢√溃可是哥休蟹，好像這點指令跑的有點慢啊。

虛擬化軟件：這就不錯啦日矫，好幾個排著隊跑呢赂弓。

內(nèi)存的申請模式如下。

虛擬機內(nèi)核：我啟動需要4G內(nèi)存哪轿，我好分給我上面的應(yīng)用盈魁。

虛擬化軟件：沒問題，才4G窃诉，你是內(nèi)核嘛杨耙，馬上申請好。

虛擬化軟件轉(zhuǎn)頭給物理機內(nèi)核：報告飘痛，管家珊膜，我啟動了一個虛擬機，需要4G內(nèi)存敦冬，給我4個房間唄辅搬。

物理機內(nèi)核：怎么又一個虛擬機啊，好吧脖旱，給你90,91,92,93四個房間堪遂。

虛擬化軟件轉(zhuǎn)頭給虛擬機內(nèi)核：哥們，內(nèi)存有了萌庆，0,1,2,3這個四個房間都是你的溶褪，你看，你是內(nèi)核嘛践险，獨占資源猿妈，從0編號的就是你的。

虛擬機內(nèi)核：看來我真的是內(nèi)核啊巍虫，能從頭開始用彭则。那好，我就在房間2的第三個柜子里面放個東西吧占遥。

虛擬化軟件：要放東西啊俯抖，沒問題。心里想：我查查看瓦胎，這個虛擬機是90號房間開頭的芬萍，他要在房間2放東西，那就相當(dāng)于在房間92放東西搔啊。

虛擬化軟件轉(zhuǎn)頭給物理機內(nèi)核：報告柬祠，管家，我上面的虛擬機要在92號房間的第三個柜子里面放個東西负芋。

好了漫蛔，說完了CPU和內(nèi)存的例子，不細(xì)說網(wǎng)絡(luò)和硬盤了旧蛾，也是類似惩猫，都是虛擬化軟件模擬一個給虛擬機內(nèi)核看的，其實啥事兒都需要虛擬化軟件轉(zhuǎn)一遍蚜点。

這種方式一個壞處轧房，就是慢，往往慢到不能忍受绍绘。

半虛擬化

于是虛擬化軟件想奶镶，我能不能不當(dāng)傳話筒，還是要讓虛擬機內(nèi)核正視自己的身份陪拘，別說你是內(nèi)核厂镇，你還真喘上了，你不是物理機左刽，你是虛擬機捺信。

但是怎么解決權(quán)限等級的問題呢？于是Intel的VT-x和AMD的AMD-V從硬件層面幫上了忙。當(dāng)初誰讓你們這些寫內(nèi)核的大牛用等級這么奢侈迄靠，用完了0秒咨，就是3，也不省著點用掌挚，沒辦法雨席，只好另起爐灶弄一個新的標(biāo)志位，表示當(dāng)前是在虛擬機狀態(tài)下吠式，還是真正的物理機內(nèi)核下陡厘。

對于虛擬機內(nèi)核來講，只要將標(biāo)志位設(shè)為虛擬機狀態(tài)特占，則可以直接在CPU上執(zhí)行大部分的指令糙置，不需要虛擬化軟件在中間轉(zhuǎn)述，除非遇到特別敏感的指令是目，才需要將標(biāo)志位設(shè)為物理機內(nèi)核態(tài)運行谤饭，這樣大大提高了效率。

所以安裝虛擬機的時候胖笛，務(wù)必要將物理CPU的這個標(biāo)志位打開网持，是否打開對于Intel可以查看grep “vmx” /proc/cpuinfo，對于AMD可以查看grep “svm” /proc/cpuinfo

這叫做硬件輔助虛擬化长踊。

另外就是訪問網(wǎng)絡(luò)或者硬盤的時候功舀，為了取得更高的性能，也需要讓虛擬機內(nèi)核加載特殊的驅(qū)動身弊，也是讓虛擬機內(nèi)核從代碼層面就重新定位自己的身份辟汰，不能像訪問物理機一樣訪問網(wǎng)絡(luò)或者硬盤，而是用一種特殊的方式：我知道我不是物理機內(nèi)核阱佛，我知道我是虛擬機帖汞，我沒那么高的權(quán)限，我很可能和很多虛擬機共享物理資源凑术，所以我要學(xué)會排隊翩蘸，我寫硬盤其實寫的是一個物理機上的文件，那我的寫文件的緩存方式是不是可以變一下淮逊，我發(fā)送網(wǎng)絡(luò)包催首，根本就不是發(fā)給真正的網(wǎng)絡(luò)設(shè)備，而是給虛擬的設(shè)備泄鹏，我可不可以直接在內(nèi)存里面拷貝給他郎任，等等等等。

一旦我知道我不是物理機內(nèi)核备籽，痛定思痛舶治，只好重新認(rèn)識自己，反而能找出很多方式來優(yōu)化我的資源訪問。

VT-X用于標(biāo)記VM是一臺虛擬機霉猛，則VM大部分指令可以直接運行在CPU上尺锚，只有19條敏感指令集需要經(jīng)過VMM攔截并轉(zhuǎn)換，丟給物理內(nèi)核來處理（ring0）

內(nèi)存可以直接運行在物理內(nèi)存之上韩脏，不需要經(jīng)過虛擬化軟件來處理缩麸，內(nèi)存分配也是由CPU來實現(xiàn)的铸磅，MMU（內(nèi)存管理單元）處理內(nèi)核映射

————————————————

版權(quán)聲明：本文部分為CSDN博主「粥粥同學(xué)」的原創(chuàng)文章赡矢，遵循CC 4.0 BY-SA版權(quán)協(xié)議，轉(zhuǎn)載請附上原文出處鏈接及本聲明阅仔。

原文鏈接：https://blog.csdn.net/gui951753/article/details/81507924