什么是裂腦

由于某些原因阿宅，導(dǎo)致兩臺高可用服務(wù)器之間在指定時間內(nèi)，無法互相檢測到對方心跳而各自啟動故障轉(zhuǎn)移功能，取得了資源及服務(wù)的所有權(quán)边翁，而此時的兩臺高可用服務(wù)器都還活著并在正常運(yùn)行，這樣就會導(dǎo)致同一個IP或服務(wù)在兩端同時啟動而發(fā)生沖突的嚴(yán)重問題硕盹，最嚴(yán)重的是兩臺主機(jī)占用同一個VIP地址符匾，當(dāng)用戶寫入數(shù)據(jù)時可能會分別寫入到兩端，這樣可能會導(dǎo)致服務(wù)器兩端的數(shù)據(jù)不一致或造成數(shù)據(jù)丟失瘩例，這種情況就被稱為裂腦啊胶，也有人稱其為分區(qū)集群或大腦垂直分割，英文為 split brain垛贤。

導(dǎo)致裂腦發(fā)生的多種原因

一般來說焰坪，裂腦的發(fā)生有以下幾個原因：

• 1）高可用服務(wù)器之間心跳線鏈路故障，導(dǎo)致無法正常通信
  • 心跳線壞了（包括斷了聘惦、老化）
  • 網(wǎng)卡及相關(guān)驅(qū)動壞了某饰，IP 配置及沖突問題（網(wǎng)卡直連）
  • 心跳線間連接的設(shè)備故障（網(wǎng)卡及交換機(jī)）
  • 仲裁的機(jī)器出問題（仲裁的方案）
• 2）高可用服務(wù)器上開啟了如 iptables 防火墻阻擋了心跳消息傳輸
• 3）高可用服務(wù)器上心跳網(wǎng)卡地址等信息配置不正確，導(dǎo)致發(fā)送心跳失敗
• 4）其它服務(wù)配置不當(dāng)?shù)仍蛏埔铮缧奶绞讲煌奶鴱V播沖突、軟件BUG等

提示： 另外的高可用軟件 keepalived 配置里如 virtual_router_id 參數(shù)禀酱，兩端配置不一致也會導(dǎo)致裂腦問題發(fā)生

防止裂腦發(fā)生的幾種方法

發(fā)生裂腦時炬守，對業(yè)務(wù)的影響是及其嚴(yán)重的，有時甚至是致命的剂跟，如：兩臺高可用服務(wù)器之間發(fā)生裂腦减途，導(dǎo)致互相爭用同一 IP 資源酣藻，就如同我們在局域網(wǎng)內(nèi)常見的 IP 地址沖突一樣，兩個機(jī)器就會有一個或者兩個都不正常观蜗，影響用戶正常訪問服務(wù)器臊恋。如果是應(yīng)用在數(shù)據(jù)庫或者存儲服務(wù)這種極重要的高可用上，那就可能會導(dǎo)致用戶發(fā)布的數(shù)據(jù)間斷的寫在兩臺不同服務(wù)器上的惡果墓捻，最終數(shù)據(jù)恢復(fù)極困難或難以恢復(fù)（當(dāng)然抖仅，有NAS等公共存儲的硬件也許會好一些）

實(shí)際生產(chǎn)環(huán)境中，我們可以從以下幾個方面來防止裂腦問題的發(fā)生：

• 同時使用串行電纜和以太網(wǎng)電纜連接砖第，同時用兩條心跳線路撤卢，這樣一條線路壞了，另一個還是好的梧兼，依然能傳送心跳消息放吩。（網(wǎng)卡設(shè)備和網(wǎng)線設(shè)備）

• 當(dāng)檢測到裂腦時強(qiáng)行關(guān)閉一個心跳節(jié)點(diǎn)（服務(wù)器）。（這個功能需特殊硬件設(shè)備支持羽杰，如 Stonith渡紫、fence）。相當(dāng)于程序上備節(jié)點(diǎn)發(fā)現(xiàn)心跳線故障考赛，發(fā)送關(guān)機(jī)命令到主節(jié)點(diǎn)（一般銀行會使用這種方式）

• 做好對裂腦的監(jiān)控報警（如郵件及手機(jī)短信等惕澎，值班），在問題發(fā)生時人為第一時間介入仲裁颜骤，降低損失唧喉。百度的報警監(jiān)控有上行和下行（就是可交互的），和人工交互的過程忍抽。當(dāng)然八孝，在實(shí)施高可用方案時，要根據(jù)業(yè)務(wù)實(shí)際需求確定是否能容忍這樣的損失鸠项。對于一般的網(wǎng)站常規(guī)業(yè)務(wù)干跛，這個損失是可控的。

• 啟用磁盤鎖祟绊，正在服務(wù)的一方鎖住共享磁盤楼入，“裂腦”發(fā)生時，讓對方完全“搶不走”共享磁盤資源久免。但使用鎖磁盤也會有一個不小的問題，如果占用共享磁盤的一方不主動“解鎖”扭弧，另一方就永遠(yuǎn)得不到共享磁盤⊙掷眩現(xiàn)實(shí)中假如服務(wù)節(jié)點(diǎn)突然死機(jī)或崩潰，就不可能執(zhí)行解鎖命令鸽捻，備節(jié)點(diǎn)也就接管不了共享資源和應(yīng)用服務(wù)呼巴。于是有人在 HA 中設(shè)計了“智能”鎖泽腮。即正在服務(wù)的一方只在發(fā)現(xiàn)心跳線全部斷開（察覺不到對端）的情況下才啟用磁盤鎖，平時就不上鎖衣赶。此功能適合共享場景诊赊。

• 報警報在服務(wù)器接管之前，給人員處理留足夠時間府瞄。例如：1分鐘內(nèi)報警碧磅，但是服務(wù)器此時沒有接管，而是5分鐘在進(jìn)行接管遵馆。接管時間較長鲸郊。數(shù)據(jù)不會丟失，導(dǎo)致用戶無法寫數(shù)據(jù)货邓。

• 報警后不直接自動服務(wù)器接管秆撮，而是由人為人員控制接管

• 增加仲裁機(jī)制，確定誰該獲得資源换况。下面有幾個參考的思路

  • 1）加一個仲裁機(jī)制职辨，例如設(shè)置參考IP（如網(wǎng)關(guān)IP），當(dāng)心跳線完全斷開時戈二，2個節(jié)點(diǎn)都各自ping一下參考IP舒裤，不通則表明斷點(diǎn)就出在本端，不僅心跳線挽拂、還有對外服務(wù)的本地網(wǎng)絡(luò)鏈路斷了惭每，這樣就主動放棄競爭，讓能夠ping通參考IP的一端去接管服務(wù)亏栈。ping不通參考IP的一方可以自我重啟台腥，以徹底釋放有可能還占用著的那些共享資源（heartbeat也有此功能）
  • 2）通過第三方軟件仲裁誰該獲得資源，這個阿里有類似的軟件應(yīng)用

小結(jié)：如何開發(fā)程序判斷裂腦

• 1）只要備節(jié)點(diǎn)出現(xiàn) VIP 就報警（a绒北、主節(jié)點(diǎn)機(jī)器宕機(jī)了黎侈，備節(jié)點(diǎn)機(jī)器接管了 b、主節(jié)點(diǎn)機(jī)器沒宕闷游，裂腦了）峻汉，不管哪種情況都需要人工查看
• 2）嚴(yán)謹(jǐn)判斷，備機(jī)出現(xiàn)VIP脐往，并且主機(jī)及服務(wù)還活著休吠，裂腦了（依然報警）

仲裁機(jī)制

仲裁機(jī)制就是通過第三方來控制HA 主節(jié)點(diǎn)和備節(jié)點(diǎn)的電源，防止裂腦情況發(fā)生业簿，相當(dāng)于法院的角色

小結(jié)：
在HA節(jié)點(diǎn)之間無法通信（心跳出現(xiàn)問題）的時候做以下操作：

• 1）各自ping網(wǎng)關(guān)瘤礁，ping不通則自己關(guān)機(jī)
• 2）主備和仲裁設(shè)備連接，出問題的時候梅尤，把各自的存活狀態(tài)寫到仲裁設(shè)備里柜思，由仲裁設(shè)備控制主備服務(wù)器的電源

Stonith介紹

Stonith 是“shoot the other node in the head” 的首字母簡寫岩调，它是 Heartbeat 軟件包的一個組件，它允許使用一個遠(yuǎn)程或“智能的”連接到健康服務(wù)器的電源設(shè)備自動重啟失效服務(wù)器的電源赡盘，Stonith 設(shè)備可以關(guān)閉電源并響應(yīng)軟件命令号枕，運(yùn)行Heartbeat 的服務(wù)器可以通過串口線或網(wǎng)線向 Stonith 設(shè)備發(fā)送命令，它控制高可用服務(wù)器對其他服務(wù)器的電力供應(yīng)陨享，也就是主服務(wù)器可以復(fù)位備用服務(wù)器的電源葱淳，備用服務(wù)器也可以復(fù)位主服務(wù)器的電源。

注意： 盡管理論上連接到遠(yuǎn)程或“智能的”循環(huán)電源系統(tǒng)電力設(shè)備的數(shù)量是沒有限制的霉咨，但大多數(shù) Stonith 實(shí)現(xiàn)只使用兩臺服務(wù)器蛙紫，因?yàn)殡p服務(wù)器 Stonith 配置是最簡單的，最容易理解途戒，它能夠長時間運(yùn)行且不會降低系統(tǒng)的可靠性和高可用性坑傅。

Stonith 事件觸發(fā)工作步驟

• 1）當(dāng)備用服務(wù)器獲取不到心跳信號時，Stonith 事件開始喷斋。這并不一定意味著主服務(wù)器沒有發(fā)送心跳唁毒，心跳可能有多種原因而沒有抵達(dá)備用服務(wù)器，所以建議使用至少兩條物理路徑傳輸心跳以避免出現(xiàn)假象的原因
• 2）備用服務(wù)器發(fā)出一個 Stonith 復(fù)位命令到 Stonith 設(shè)備
• 3）Stonith 設(shè)備關(guān)閉主服務(wù)器的電力供應(yīng)
• 4）一經(jīng)切斷主服務(wù)器的電源星爪，它就不能再訪問集群資源浆西，也不能再為客戶端提供資源，保證客戶端計算機(jī)不能訪問主服務(wù)器上的資源顽腾，排除可能發(fā)生的頭腦分裂狀態(tài)
• 5）然后備用服務(wù)器獲得主服務(wù)器的資源近零，Heartbeat 用 start 參數(shù)運(yùn)行資源腳本，并執(zhí)行ARP欺騙廣播以便客戶端計算機(jī)發(fā)送他們的請求到它的網(wǎng)絡(luò)接口上