定義目標

既然我們的目標是做到高可用，那么我們就有必要先明確清楚高可用的含義午磁，并通過拆解目標尝抖，讓目標可以被量化。按照我的理解迅皇，可以將目標按照以下三條進行拆解：

1. 保持業(yè)務(wù)高穩(wěn)定性

系統(tǒng)穩(wěn)定性是高可用的根本目的昧辽，通俗的說，系統(tǒng)能持續(xù)可用登颓，不會無故宕機搅荞，在高壓下仍然能正常工作。

2. 支持快速定位故障

從實際工程的角度看框咙，不出故障的服務(wù)是不存在的咕痛，所以出了故障要能夠快速發(fā)現(xiàn)和定位，在外部用戶發(fā)現(xiàn)前喇嘱，通過報警機制茉贡，能準確定位故障原因，幫助工程師盡快處理問題者铜，防止進一步影響業(yè)務(wù)腔丧。

3. 支持快速恢復(fù)業(yè)務(wù)

這一點需要多說兩句，有關(guān)“恢復(fù)業(yè)務(wù)”和“解決問題”之間的區(qū)別作烟，這兩個詞也正好說明了線上出現(xiàn)故障后悔据，我們解決問題的兩種不同思路。簡單的說俗壹，“恢復(fù)業(yè)務(wù)”的意思是線上故障是什么原因可以先暫時放在一邊科汗，我們先找到快速的臨時方案表谊，讓業(yè)務(wù)跑起來澳叉。很多同學(xué)在處理生產(chǎn)故障的時候有一個思維慣性：先努力找到問題的起因，然后改代碼解決問題沐鼠，測試涎显，發(fā)布上線坤检，最后業(yè)務(wù)功能才能正常工作。實際上期吓，一個流程走下來早歇，時間成本是很高的，業(yè)務(wù)因為本次故障受到較大的影響。比如說某臺機器上的服務(wù)響應(yīng)很慢箭跳，導(dǎo)致請求超時晨另，可能的原因有：網(wǎng)絡(luò)帶寬出現(xiàn)問題、機器磁盤有問題谱姓、機器的CPU或者Memory不夠用了借尿、應(yīng)用程序有死循環(huán)、jvm垃圾回收時間變長......要在短短幾分鐘內(nèi)排查這么多可能的原因是很難的屉来，但我們不知道真正的原因也可以恢復(fù)業(yè)務(wù)路翻，比如說最簡單的方法就是直接把這臺機器立刻下線，讓流量分配到其它的機器或者新添加的機器上茄靠。

現(xiàn)在我們有了這三條分拆后的目標茂契，那么接下來的架構(gòu)方案就會圍繞著這三個目標來執(zhí)行。

服務(wù)分級 + 服務(wù)降級

服務(wù)分級：根據(jù)業(yè)務(wù)的需求慨绳，將服務(wù)進行分類掉冶，劃分核心服務(wù)和普通服務(wù)，核心服務(wù)與普通服務(wù)不會相互影響儡蔓，服務(wù)背后的資源郭蕉，緩存疼邀，數(shù)據(jù)庫喂江，MQ相互分離。服務(wù)分級旁振，對應(yīng)于我們的子目標1获询。

這里有兩個關(guān)鍵點：

1. 抽取核心服務(wù)，例如我們互金業(yè)務(wù)中拐袜，用戶吉嚣，訂單，支付這三個服務(wù)是核心業(yè)務(wù)蹬铺，消息推送尝哆、營銷券積分等是普通服務(wù)，核心服務(wù)的穩(wěn)定與否也關(guān)乎業(yè)務(wù)的KPI甜攀。核心服務(wù)是客戶必須要使用的秋泄，核心服務(wù)一旦有問題，客戶就不能購買產(chǎn)品了规阀；而普通服務(wù)即使有問題恒序，暫時也不會對交易產(chǎn)生影響。從另外一個角度看谁撼，普通服務(wù)的代碼在我們?nèi)粘５墓ぷ髦蟹炊儎宇l繁歧胁。因此，優(yōu)先保證核心服務(wù)正常使用，是我們首要目標喊巍。

2. 不同級別的服務(wù)資源分離屠缭，包括服務(wù)器, 緩存,MQ, DB等建議都分離出來，因為只要不同服務(wù)共享資源玄糟，就有可能因為普通服務(wù)影響核心服務(wù)勿她。舉個最簡單的例子，如果服務(wù)間共用一套redis阵翎，那么如果大量的消息請求占用了redis的連接數(shù)逢并，那么核心服務(wù)的質(zhì)量就會因此受到很大的影響。

服務(wù)降級：當出現(xiàn)故障的時候郭卫，可以將普通服務(wù)直接降級砍聊，保護核心服務(wù)不受影響。服務(wù)降級贰军，對應(yīng)于我們的子目標3玻蝌。

拆分為核心服務(wù)和普通服務(wù)后，在很多業(yè)務(wù)場景下词疼，服務(wù)間是相互調(diào)用的俯树，這就存在服務(wù)之間可能是相互影響的。例如贰盗，我們在推送消息（普通服務(wù)）之前许饿，需要查詢用戶的信息（核心服務(wù)），大量消息下發(fā)舵盈，就會給核心業(yè)務(wù)系統(tǒng)產(chǎn)生較大的壓力陋率。這種情況下我們可以通過將非核心服務(wù)停掉，以保證核心服務(wù)不受影響秽晚。

另外瓦糟，在做服務(wù)降級的時候，最佳的方式赴蝇，是通過修改動態(tài)配置來執(zhí)行菩浙。而不是靠手工到線上修改靜態(tài)配置或者發(fā)布新版本的方式來完成，因為容易出錯句伶，而且效率還不高劲蜻。所以，這里我比較推薦類似阿里diamond的服務(wù), 接入diamond后熄阻，通過diamond后臺斋竞，修改配置后，groovy腳本直接就將最新的配置同步到服務(wù)中秃殉，甚至都不要重啟服務(wù)就完成了降級操作坝初。

建立分層監(jiān)控

建立監(jiān)控分層的目的對應(yīng)于我們的子目標2浸剩，就是將故障分析和定位時涉及的所有的相關(guān)信息都要監(jiān)控起來，共分為5層鳄袍，具體各層和含義如下：

網(wǎng)絡(luò)層

分析網(wǎng)絡(luò)出入的情況绢要，比方說有大量的外部請求，導(dǎo)致外網(wǎng)網(wǎng)卡的帶寬被占滿拗小，需要立刻分析是否是正常流量重罪，如果是活動帶來高頻訪問，那么需要做帶寬升級哀九，如果是外部攻擊剿配，那么需要考慮做流量清洗等防護操作。

接口層

收集對外暴露的接口的訪問情況阅束，包括接口執(zhí)行時間呼胚、返回狀態(tài)碼、調(diào)用次數(shù)等息裸，我們需要時刻關(guān)注我們訪問次數(shù)最多的API接口蝇更，根據(jù)接口的訪問情況，決定了是否需要服務(wù)擴容呼盆，并判斷是否有外部的不正常訪問年扩，機刷等。如果存在某些接口有大量的錯誤碼返回访圃，我們需要第一時間查明這些接口訪問失敗的原因厨幻。

業(yè)務(wù)層

收集和分析核心業(yè)務(wù)和普通服務(wù)的運行情況和相互調(diào)用情況，比方說挽荠，如果某個服務(wù)產(chǎn)生了大量的Exceptions或者dubbo服務(wù)調(diào)用超時克胳。

中間件層

中間件層指服務(wù)依賴的各類中間件平绩，例如容器圈匆、緩存、消息隊列捏雌。不同的中間件關(guān)注不一樣的信息跃赚，例如數(shù)據(jù)庫Redis監(jiān)控指標包括連接數(shù)、請求數(shù), rdb&aof的執(zhí)行情況, IO的頻率等性湿，緩存命中率等纬傲。

系統(tǒng)層

系統(tǒng)層指操作系統(tǒng)狀態(tài)、收集的信息包括cpu使用率肤频、內(nèi)存使用率叹括、網(wǎng)卡流量、連接數(shù)等宵荒。

總結(jié)

歡迎工作一到十年的Java工程師朋友們加入Java進階高級架構(gòu)裙：858327216

本群提供免費的學(xué)習指導(dǎo) 架構(gòu)資料 以及免費的解答

不懂得問題都可以在本群提出來 之后還會有職業(yè)生涯規(guī)劃以及面試指導(dǎo)

將實現(xiàn)高可用架構(gòu)拆分為3個子目標汁雷，針對這3個子目標提出了三個優(yōu)化思路：服務(wù)分級 + 服務(wù)降級+分層監(jiān)控净嘀。圍繞這三塊優(yōu)化的方向，層層推進侠讯，最終讓系統(tǒng)的技術(shù)架構(gòu)得到質(zhì)的提升挖藏。未來，我會針對里面的每一點厢漩，進一步展開討論一下里面的細節(jié)膜眠，除此之外，還會討論一些本文還未涉及到的內(nèi)容溜嗜，例如DNS的優(yōu)化宵膨，異地多活等等，歡迎大家一起討論炸宵。