服務(wù)雪崩的過(guò)程
上面是一組簡(jiǎn)單的服務(wù)依賴關(guān)系A(chǔ)，B服務(wù)同時(shí)依賴于基礎(chǔ)服務(wù)C瘩绒，基礎(chǔ)服務(wù)C又調(diào)用了服務(wù)D
服務(wù)D是一個(gè)輔助類型服務(wù)列牺，整個(gè)業(yè)務(wù)不依賴于D服務(wù)，某天D服務(wù)突然響應(yīng)時(shí)間變長(zhǎng)划纽，導(dǎo)致了核心服務(wù)C響應(yīng)時(shí)間變長(zhǎng)脆侮，其上請(qǐng)求越積越多，C服務(wù)也出現(xiàn)了響應(yīng)變慢的情況勇劣，由于A靖避，B強(qiáng)依賴于服務(wù)C，故而一個(gè)無(wú)關(guān)緊要的服務(wù)卻影響了整個(gè)系統(tǒng)的可用比默。
雪崩是系統(tǒng)中的蝴蝶效應(yīng)導(dǎo)致其發(fā)生的原因多種多樣幻捏，有不合理的容量設(shè)計(jì)，或者是高并發(fā)下某一個(gè)方法響應(yīng)變慢命咐，亦或是某臺(tái)機(jī)器的資源耗盡篡九。從源頭上我們無(wú)法完全杜絕雪崩源頭的發(fā)生，但是雪崩的根本原因來(lái)源于服務(wù)之間的強(qiáng)依賴醋奠，所以我們可以提前評(píng)估榛臼，做好熔斷，隔離窜司，限流沛善。
熔斷
熔斷器
說(shuō)到熔斷器，java技術(shù)棧的同學(xué)第一時(shí)間會(huì)想到Hystrix塞祈。下面我們一起來(lái)看下熔斷器的實(shí)現(xiàn)原理
熔斷器實(shí)際上是一個(gè)簡(jiǎn)單的有限狀態(tài)機(jī)(Finite State Machine)
1.請(qǐng)求錯(cuò)誤率達(dá)到某一閾值金刁，熔斷器全開(kāi)，產(chǎn)生熔斷（熔斷期間會(huì)對(duì)所有請(qǐng)求采用降級(jí)處理）
2.到熔斷時(shí)間窗口之后议薪，熔斷器會(huì)進(jìn)入半開(kāi)狀態(tài)尤蛮，此時(shí)hystrix會(huì)放過(guò)1個(gè)試驗(yàn)性請(qǐng)求
3.如果該試驗(yàn)性請(qǐng)求成功，熔斷器進(jìn)入關(guān)閉狀態(tài)
4.如果該試驗(yàn)性請(qǐng)求失敗笙蒙，熔斷器重新進(jìn)入全開(kāi)狀態(tài)
以下摘自hystrix官方文檔
1.Assuming the volume across a circuit meets a certain threshold (HystrixCommandProperties.circuitBreakerRequestVolumeThreshold())...
2.And assuming that the error percentage exceeds the threshold error percentage (HystrixCommandProperties.circuitBreakerErrorThresholdPercentage())...
3.Then the circuit-breaker transitions from?CLOSED?to?OPEN.
4.While it is open, it short-circuits all requests made against that circuit-breaker.
5.After some amount of time (HystrixCommandProperties.circuitBreakerSleepWindowInMilliseconds()), the next single request is let through (this is the?HALF-OPEN?state). If the request fails, the circuit-breaker returns to the?OPEN?state for the duration of the sleep window. If the request succeeds, the circuit-breaker transitions to?CLOSED?and the logic in?1.?takes over again.
指標(biāo)Metric
hystrix內(nèi)部的統(tǒng)計(jì)指標(biāo)是基于觀察者模式的抵屿，只不過(guò)事件的統(tǒng)計(jì)方式1.4.x與1.5.0王后的版本有些許不同。
1.4.x版本實(shí)現(xiàn)
采用滑動(dòng)窗口+滾筒的機(jī)制進(jìn)行指標(biāo)統(tǒng)計(jì)捅位，一個(gè)完整的時(shí)間窗口被劃分為多個(gè)bucket轧葛，圖中的一個(gè)bucket統(tǒng)計(jì)的是1s內(nèi)的計(jì)數(shù)指標(biāo)搂抒，分別是success，failure尿扯，timeout求晶，rejection，熔斷器評(píng)判標(biāo)準(zhǔn)是整個(gè)時(shí)間窗口的成功失敗比衷笋。
1.5.0以后版本
利用了hystirx大量引入了rxjava? api芳杏，其保留了滾筒機(jī)制，只不過(guò)bucket內(nèi)部的時(shí)間段指標(biāo)統(tǒng)計(jì)利用了Observable.window?函數(shù)進(jìn)行時(shí)間段內(nèi)聚合統(tǒng)計(jì)辟宗。
Observable.window操作分為2個(gè)維度爵赵，分別是bucket級(jí)別和window級(jí)別。
bucket級(jí)別的數(shù)據(jù)聚合是在BucketedCounterStream.java類中執(zhí)行泊脐，其功能是將服務(wù)調(diào)用級(jí)別的輸入數(shù)據(jù)流 inputEventStream 以 bucketSizeInMs 毫秒為一個(gè)桶進(jìn)行了匯總空幻，匯總的結(jié)果輸入到桶級(jí)別數(shù)據(jù)流 bucketedStream。
window級(jí)別的數(shù)據(jù)在BucketedRollingCounterStream.java類中進(jìn)行聚合容客，numBuckets定義了window的大小秕铛，reduceWindowToSummary為窗口求和操作。
使用rxjava給hystrix帶來(lái)了下面幾點(diǎn)好處
無(wú)需再次編碼
比如window中的"滾筒"操作直接可以利用rxjava的window函數(shù)并且在后臺(tái)線程中運(yùn)行缩挑，無(wú)需自己再編碼實(shí)現(xiàn)
減少了線程同步
比如每條command emit的數(shù)據(jù)會(huì)發(fā)射到?thread-local級(jí)別的rx.Subject但两，無(wú)需再進(jìn)行同步操作，
資源隔離
太空科幻題材電影永遠(yuǎn)是好萊塢最炙手可熱的主題供置，而一部電影是否能夠扣人心弦逃跑的橋段自然不能少谨湘，尤其在狹小的空間站中∈堪溃《地心引力》中的女主逃離著火的國(guó)際空間站悲关，《異行》中飛船上的伙計(jì)們逃離異行的追殺，《星際穿越》中庫(kù)珀逃離旋轉(zhuǎn)的空間站娄柳，似乎大家面對(duì)危險(xiǎn)的第一反應(yīng)就是“關(guān)上艙門(mén)”寓辱，把危險(xiǎn)隔離在外。
防水倉(cāng)
實(shí)際上船艙分開(kāi)設(shè)計(jì)本身就是一種隔離的思想赤拒，一個(gè)防水倉(cāng)進(jìn)水不會(huì)導(dǎo)致整艘輪船沉沒(méi)秫筏。如果把我們整個(gè)系統(tǒng)比作海上漂浮的一艘輪船，那么我們系統(tǒng)的各個(gè)服務(wù)就好比輪船上的各個(gè)密封艙挎挖，服務(wù)A如果強(qiáng)依賴于服務(wù)B那么他們就在一個(gè)艙里这敬。
應(yīng)用級(jí)別隔離
常見(jiàn)的應(yīng)用界別隔離手段有線程池隔離，信號(hào)量隔離蕉朵，連接池隔離崔涂，hystrix實(shí)現(xiàn)了前2種，其各自優(yōu)缺點(diǎn)如下
硬件資源級(jí)別隔離
說(shuō)到硬件級(jí)別的隔離就想到了近些年來(lái)大熱的docker
docker的sandbox特性可以讓我們的應(yīng)用如圖中的集裝箱一個(gè)個(gè)彼此分開(kāi)始衅，單個(gè)集裝箱的損壞不會(huì)影響到整個(gè)服務(wù)器環(huán)境冷蚂。docker為我們提供了以下幾種硬件隔離方式缭保。
docker中計(jì)算機(jī)資源隔離
docker 通過(guò) cgroup 來(lái)控制容器使用的資源配額，包括 CPU蝙茶、內(nèi)存艺骂、磁盤(pán)IO三大方面
cgroup 是 Control Groups 的縮寫(xiě)，是 Linux 內(nèi)核提供的一種可以限制隆夯、記錄钳恕、隔離進(jìn)程組所使用的物理資源(如 cpu、memory蹄衷、磁盤(pán)IO等等) 的機(jī)制忧额，被 LXC、docker 等很多項(xiàng)目用于實(shí)現(xiàn)進(jìn)程資源控制宦芦。
CPU
CPU份額控制
通過(guò)-c或者–cpu-shares參數(shù)宙址，在創(chuàng)建容器時(shí)指定容器所使用的 CPU 份額值
CPU周期控制
-cpu-period轴脐、--cpu-quota兩個(gè)參數(shù)控制容器可以分配到的 CPU 時(shí)鐘周期
CPU核心數(shù)控制
使用–cpuset-cpu s和–cpuset-mems參數(shù)可以控制容器運(yùn)行限定使用哪些 CPU 內(nèi)核和內(nèi)存節(jié)點(diǎn)
內(nèi)存
-m 或 --memory：設(shè)置內(nèi)存的使用限額调卑，例如 100M, 2G。
--memory-swap：設(shè)置 內(nèi)存+swap 的使用限額大咱。
IO
block IO 權(quán)重
--blkio-weight參數(shù)可以改變?nèi)萜?block IO 的優(yōu)先級(jí)
限制 bps 和 iops
bps 是 byte per second恬涧，每秒讀寫(xiě)的數(shù)據(jù)量。iops 是 io per second碴巾，每秒 IO 的次數(shù)溯捆。
--device-read-bps，限制讀某個(gè)設(shè)備的 bps厦瓢。
--device-write-bps提揍，限制寫(xiě)某個(gè)設(shè)備的 bps。
--device-read-iops煮仇，限制讀某個(gè)設(shè)備的 iops劳跃。
--device-write-iops，限制寫(xiě)某個(gè)設(shè)備的 iops浙垫。
docker中內(nèi)核資源隔離
docker網(wǎng)絡(luò)隔離
none 網(wǎng)絡(luò)
host 網(wǎng)絡(luò)
bridge 網(wǎng)絡(luò)
User-defined 網(wǎng)絡(luò)
資料參考：
http://reactivex.io/documentation/operators.html
https://segmentfault.com/a/1190000005988895
https://github.com/Netflix/Hystrix/wiki
https://blog.csdn.net/hustspy1990/article/details/77978329
http://blog.51cto.com/wzlinux/2046566
