轉(zhuǎn)載自：http://blog.luoyuanhang.com/2017/05/20/ftvm-notes/
論文地址：The Design of a Practical System for Fault-Tolerant Virtual Machines
在分布式系統(tǒng)中史汗，容錯方法有很多種犯犁，常見的傳統(tǒng)方法有：主/副服務器方法（當主服務器宕機之后毁靶，由副服務器來接管它的工作）志膀，這種方法通常需要機器之間的高帶寬舞肆。
另外還有確定（deterministic）狀態(tài)機方法：將另一臺服務器初始化為和主服務器一樣的狀態(tài)碱屁，然后讓它們都接受到同樣的輸入刁绒，這樣它們的狀態(tài)始終保持一致紧阔，但是這種方法對于非確定的（non-deterministic）操作并不適用坊罢。
本文中討論的方法是使用虛擬機作為狀態(tài)機，它具有以下優(yōu)點：
- 操作全部被虛擬化
- 虛擬機本身就支持 non-deterministic 操作
- 虛擬機管理程序（Hypervision）能夠記錄所有在虛擬機上的操作擅耽，所以能夠記錄主服務器（Primary）所有操作活孩，然后在副服務器（Backup）上進行演繹
基本設(shè)計方案
如圖就是本文提到的容錯系統(tǒng)的架構(gòu)，一個 Primary乖仇，一個 Backup憾儒，Primary 和 Backup 之間通過 Logging Channel 進行通信询兴，Primary 和 Backup 基本保持同步，Backup 稍稍落后起趾，它們兩個之間會通過 heartbeat 進行 fail 檢測诗舰，并且它們使用共享磁盤（Shared Disk）。
確定（deterministic）操作的演繹
讓兩臺機器初始狀態(tài)相同训裆，它們接受相同的輸入眶根，順序相同，兩臺機器執(zhí)行的任務的結(jié)果就會相同缭保。
但是如果存在非確定的（non-deterministic）操作（比如中斷事件汛闸、讀取CPU時鐘計數(shù)器的值操作就是非確定的），它會影響狀態(tài)機的執(zhí)行艺骂。
難點在于：
- 需要捕捉全部的輸入和 non-deterministic 操作在保證 Backup 是deterministic 的
- 需要準確將全部輸入和 non-deterministic 操作應用到 Backup 中
- 需要保證系統(tǒng)高效
設(shè)計方案為：將所有的 input 和 non-deterministic 操作寫入到 log 中（file）诸老，對于 non-deterministic 操作還要記錄和它相關(guān)的狀態(tài)信息等，確保 non-deterministic 操作后Backup狀態(tài)還是和 Primary 一致
FT（Fault-Tolerance）協(xié)議
FT 協(xié)議是應用于 logging channel 的協(xié)議钳恕，協(xié)議的基本要求為：
如果 Primary 宕機了别伏，Backup 接替它的工作，Backup 之后向外界發(fā)出所有的 Output 要和 Primary 原本應當發(fā)送的一致忧额。
為了保證以上的要求厘肮，設(shè)計如下系統(tǒng)：
- Primary會在所有關(guān)于本次Output 的所有信息都發(fā)送給 Backup 之后（并且要確保 Backup 收到）才會把 output 發(fā)送給外界
- Primary 只是推遲將 output 發(fā)送給外界，而不會暫停執(zhí)行后邊的任務
流程如圖所示：
但是這種方法不能保證 output 只發(fā)出一次睦番，如果 primary 宕機了类茂，backup 不能判斷它是在發(fā)送了 output 之前還是之后宕機的，因此 backup 會再發(fā)送一次 output托嚣。但是這個問題很容易解決巩检，因為：
- output 是通過網(wǎng)絡進行發(fā)送的，例如 TCP 之類的網(wǎng)絡協(xié)議能夠檢測重復的數(shù)據(jù)包
- 即使 output 被發(fā)送了2次其實也沒關(guān)系示启。如果 output 是一個寫操作兢哭，它會在同一個位置寫入兩次，結(jié)果不會發(fā)生變化夫嗓；如果 output 是讀取操作迟螺，讀的內(nèi)容會被放入 bounce buffer（為了消除 DMA 競爭），數(shù)據(jù)會在 IO 中斷之后被送到
宕機檢測
如何知道有機器宕機舍咖，在該系統(tǒng)中是十分重要的矩父。該設(shè)計使用的是UDP heartbeat 機制來檢測 Primary 與 Backup 之間的通信是否正常排霉。
但是使用這種方法會存在裂腦問題（split-brain窍株，Primary 和 Backup 同時宕機），該怎么解決呢？
該設(shè)計中使用了共享存儲（Shared Storage）夹姥，對它的操作是原子的，Primary 和 Backup不能同時進行一個操作（提供原子的 test-and-set 操作）
如果檢測出 Primary 宕機辙诞，Backup 會成為 Primary辙售，接替之前的工作，然后再尋找一個 Backup飞涂。
具體實現(xiàn)
啟動/重啟 Virtual Machine
如何啟動一個和 Primary 狀態(tài)一樣的 Backup旦部？
VMware Vmotion 操作能夠?qū)⒁慌_ VM 從一個 Server 完整的遷移到另一個 Server（只需要很短的中斷），在該設(shè)計中的方法對 Vmotion 做了一點修改较店，不是進行遷移士八，而是直接克隆。
管理 Logging Channel
如圖梁呈，該設(shè)計使用了一個大的 buffer婚度，來保存 logging entries，Primary 把自己的 entry 存到 buffer 中官卡，由 logging channel 發(fā)送給Backup 的 buffer蝗茁，然后 Backup 從 buffer 讀取命令執(zhí)行。
- 如果 Backup 的 buffer 空了寻咒，沒有命令執(zhí)行了哮翘，Backup 會等待新的 entry
- 如果 Primary 的 buffer 滿了，Primary 會等待毛秘，等 buffer 中有空余空間再繼續(xù)執(zhí)行
Disk I/O問題
-
disk 操作是并行的饭寺，同時對 disk 的同一位置進行操作會導致 non-deterministic
解決方案：檢測 IO 競爭，使這些操作串行執(zhí)行
-
Disk IO 使用 DMA（Direct Memory Access）叫挟，同時訪問內(nèi)存同一位置的操作會導致 non-deterministic
解決方案：對 disk 操作的內(nèi)存設(shè)置內(nèi)存的頁保護艰匙，但是這種方法代價太高；該設(shè)計中使用了 bounce buffer霞揉，它的大小和 disk 所操作的內(nèi)存部分大小是一致的旬薯，read 操作直接將內(nèi)容讀入 buffer，當其他操作完成适秩，寫入內(nèi)存绊序，write 操作將寫內(nèi)容寫入 buffer，之后再寫入磁盤秽荞。
總結(jié)
Vmware 提出的這種 Primary/Backup 方法是分布式容錯方法中非常重要的一部分骤公，可以用在許多系統(tǒng)中，不僅僅是分布式存儲（GFS 的容錯方法）扬跋，也可以用在分布式計算中阶捆，因為它是將所有的操作都記錄下來，將它們重新在 Backup 上進行演繹，從而起到了備份的作用洒试，能夠做到容錯（Fault-Tolerance）倍奢。
