【負(fù)載均衡架構(gòu)部分轉(zhuǎn)自】58沈劍 [架構(gòu)師之路](https://mp.weixin.qq.com/s

• 單臺(tái)服務(wù)器不管好好壞總是會(huì)遇到性能瓶頸虚缎，而解決單臺(tái)服務(wù)器瓶頸方式就是采用集群揖曾。高性能集群的本質(zhì)很簡(jiǎn)單岁疼，通過(guò)增加更多的服務(wù)器來(lái)提升系統(tǒng)整體的計(jì)算能力吊骤。在一個(gè)集群中缓淹，每一臺(tái)服務(wù)器提供的功能是一樣登失，但是每一臺(tái)服務(wù)器的類(lèi)型可能是不一樣的（性能遏佣、配置、價(jià)格等等）揽浙，因此需要設(shè)計(jì)合理的任務(wù)分配策略状婶，將計(jì)算任務(wù)分配到多臺(tái)服務(wù)器上執(zhí)行，并且保證在每一臺(tái)服務(wù)器上輸入相同的參數(shù)馅巷，輸出的結(jié)果一樣膛虫。
• 高性能集群的復(fù)雜性主要體現(xiàn)在需要增加一個(gè)任務(wù)分配器，以及為任務(wù)選擇一個(gè)合適的任務(wù)分配算法钓猬。對(duì)于任務(wù)分配器稍刀，現(xiàn)在更流行的通用叫法是“負(fù)載均衡器”。

一逗噩、了解復(fù)雜均衡

負(fù)載均衡：是分布式系統(tǒng)架構(gòu)設(shè)計(jì)中必須考慮的因素之一掉丽，它通常是指跌榔，將請(qǐng)求/數(shù)據(jù)【均勻】分?jǐn)偟蕉鄠€(gè)操作單元上執(zhí)行，負(fù)載均衡的關(guān)鍵在于【均勻】
常見(jiàn)的負(fù)載均衡方案：

常見(jiàn)互聯(lián)網(wǎng)負(fù)載均衡架構(gòu)

常見(jiàn)互聯(lián)網(wǎng)分布式架構(gòu)如上捶障，分為客戶端層僧须、反向代理nginx層、站點(diǎn)層项炼、服務(wù)層担平、數(shù)據(jù)層《Р浚可以看到暂论，每一個(gè)下游都有多個(gè)上游調(diào)用，只需要做到拌禾，每一個(gè)上游都均勻訪問(wèn)每一個(gè)下游取胎，就能實(shí)現(xiàn)“將請(qǐng)求/數(shù)據(jù)【均勻】分?jǐn)偟蕉鄠€(gè)操作單元上執(zhí)行”

1、【客戶端層->反向代理層】的負(fù)載均衡

【客戶端層->反向代理層】的負(fù)載均衡

【客戶端層】到【反向代理層】的負(fù)載均衡湃窍，是通過(guò)“DNS輪詢”實(shí)現(xiàn)的：DNS-server對(duì)于一個(gè)域名配置了多個(gè)解析ip闻蛀，每次DNS解析請(qǐng)求來(lái)訪問(wèn)DNS-server，會(huì)輪詢返回這些ip您市，保證每個(gè)ip的解析概率是相同的觉痛。這些ip就是nginx的外網(wǎng)ip，以做到每臺(tái)nginx的請(qǐng)求分配也是均衡的茵休。

2薪棒、【反向代理層->站點(diǎn)層】的負(fù)載均衡

反向代理層->站點(diǎn)層

【反向代理層】到【站點(diǎn)層】的負(fù)載均衡，是通過(guò)“nginx”實(shí)現(xiàn)的榕莺。通過(guò)修改nginx.conf俐芯，可以實(shí)現(xiàn)多種負(fù)載均衡策略：

3、【站點(diǎn)層->服務(wù)層】的負(fù)載均衡

站點(diǎn)層->服務(wù)層

【站點(diǎn)層】到【服務(wù)層】的負(fù)載均衡帽撑，是通過(guò)“服務(wù)連接池”實(shí)現(xiàn)的泼各。
上游連接池會(huì)建立與下游服務(wù)多個(gè)連接，每次請(qǐng)求會(huì)“隨機(jī)”選取連接來(lái)訪問(wèn)下游服務(wù)亏拉。（也即是rpc框架實(shí)現(xiàn)的）

4扣蜻、【數(shù)據(jù)層】的負(fù)載均衡

在數(shù)據(jù)量很大的情況下，由于數(shù)據(jù)層（db及塘，cache）涉及數(shù)據(jù)的水平切分莽使，所以數(shù)據(jù)層的負(fù)載均衡更為復(fù)雜一些，它分為“數(shù)據(jù)的均衡”笙僚，與“請(qǐng)求的均衡”芳肌。
數(shù)據(jù)的均衡是指：水平切分后的每個(gè)服務(wù)（db，cache），數(shù)據(jù)量是差不多的亿笤。
請(qǐng)求的均衡是指：水平切分后的每個(gè)服務(wù)（db翎迁，cache），請(qǐng)求量是差不多的净薛。
（1）按照range水平切分

按range水平切分

存儲(chǔ)均勻汪榔，容易擴(kuò)展，但是請(qǐng)求會(huì)不均價(jià)（存在新老用戶肃拜，活躍用戶僵尸用戶等情況）

（2）按照id哈希水平切分

按照id哈希水平切分

[圖片上傳中...(image.png-6b2508-1561902875888-0)]

存儲(chǔ)均勻痴腌、請(qǐng)求均勻、規(guī)則簡(jiǎn)單燃领。但是不容易擴(kuò)展士聪，擴(kuò)展一個(gè)數(shù)據(jù)服務(wù)，hash方法改變時(shí)候猛蔽，可能需要進(jìn)行數(shù)據(jù)遷移

5剥悟、總結(jié)

（1）【客戶端層】到【反向代理層】的負(fù)載均衡，是通過(guò)“DNS輪詢”實(shí)現(xiàn)的
（2）【反向代理層】到【站點(diǎn)層】的負(fù)載均衡曼库，是通過(guò)“nginx”實(shí)現(xiàn)的
（3）【站點(diǎn)層】到【服務(wù)層】的負(fù)載均衡懦胞，是通過(guò)“服務(wù)連接池”實(shí)現(xiàn)的
（4）【數(shù)據(jù)層】的負(fù)載均衡，要考慮“數(shù)據(jù)的均衡”與“請(qǐng)求的均衡”兩個(gè)點(diǎn)凉泄，常見(jiàn)的方式有“按照范圍水平切分”與“hash水平切分”

二、負(fù)載均衡分類(lèi)

常見(jiàn)的負(fù)載均衡系統(tǒng)包括 3 種：DNS 負(fù)載均衡蚯根、硬件負(fù)載均衡和軟件負(fù)載均衡后众。

1、DNS負(fù)載均衡

DNS負(fù)載均衡架構(gòu)圖

優(yōu)點(diǎn)：
（1）簡(jiǎn)單颅拦、成本低
（2）就近訪問(wèn)蒂誉，提升訪問(wèn)速度
缺單：
（1）由于緩存存在會(huì)產(chǎn)生數(shù)據(jù)不一致現(xiàn)象，也就是服務(wù)變更不及時(shí)
（2）DNS 負(fù)載均衡的控制權(quán)在域名商那里距帅，無(wú)法根據(jù)業(yè)務(wù)特點(diǎn)針對(duì)其做更多的定制化功能和擴(kuò)展特性右锨。
（3）分配策略比較簡(jiǎn)單，也就是提供的負(fù)載均衡算法少

2碌秸、硬件負(fù)載均衡器

硬件負(fù)載均衡是通過(guò)單獨(dú)的硬件設(shè)備來(lái)實(shí)現(xiàn)負(fù)載均衡功能绍移，這類(lèi)設(shè)備和路由器、交換機(jī)類(lèi)似讥电，可以理解為一個(gè)用于負(fù)載均衡的基礎(chǔ)網(wǎng)絡(luò)設(shè)備蹂窖。比如業(yè)界非常出名的F5

優(yōu)點(diǎn)：
（1）功能強(qiáng)大，支持多層負(fù)載均衡(通常是四層和七層）恩敌，支持多種負(fù)載均衡算法
（2）性能強(qiáng)大
（3）穩(wěn)定性和安全性強(qiáng)大

缺點(diǎn)：
（1）價(jià)格實(shí)在非常昂貴
（2）擴(kuò)展性不強(qiáng)

3瞬测、軟件負(fù)載均衡器

軟件負(fù)載均衡通過(guò)負(fù)載均衡軟件來(lái)實(shí)現(xiàn)負(fù)載均衡功能，常見(jiàn)的有 Nginx 和 LVS。

nginx負(fù)載均衡架構(gòu)圖

優(yōu)點(diǎn)：
（1）簡(jiǎn)單
（2）便宜
（3）可擴(kuò)展月趟、可定制性強(qiáng)
缺點(diǎn)：
（1）性能一般（相比硬件負(fù)載均衡）灯蝴、功能也沒(méi)有硬件負(fù)載均衡強(qiáng)大
（2）一般不具備防火墻和防 DDoS 攻擊等安全功能

4、業(yè)界常用負(fù)載均衡簡(jiǎn)介

nginx和F5：https://blog.csdn.net/chabale/article/details/8956717
nginx和lvs比較：https://blog.51cto.com/hzcto/2086691
lvs：https://www.cnblogs.com/liwei0526vip/p/6370103.html
ELB： https://aws.amazon.com/cn/elasticloadbalancing/
SLB：https://help.aliyun.com/product/27537.html

5孝宗、一個(gè)千萬(wàn)級(jí)別的負(fù)載均衡架構(gòu)設(shè)計(jì)

題目：日活躍用戶 1000 萬(wàn)的論壇的負(fù)載均衡集群穷躁，該如何設(shè)計(jì)呢？
（1）評(píng)估流量
1000萬(wàn)DAU碳褒，換算成秒級(jí)（一天12小時(shí)）折砸，平均約等于232。
考慮每個(gè)用戶操作次數(shù)沙峻，假定10睦授，換算成平均QPS=2320。
考慮峰值是均值倍數(shù)摔寨，假定5去枷，換算成峰值QPS=11600。
考慮靜態(tài)資源是复、圖片資源删顶、服務(wù)拆分等，流量放大效應(yīng)淑廊，假定10逗余，QPS10=116000。
（2）容量規(guī)劃
考慮高可用季惩、異地多活录粱，QPS2=232000。
考慮未來(lái)半年增長(zhǎng)画拾，QPS*1.5=348000啥繁。
（3）方案設(shè)計(jì)
可以用三級(jí)導(dǎo)流：
第一級(jí)，DNS青抛，確定機(jī)房旗闽，以目前量級(jí)，可以不考慮蜜另。
第二級(jí)适室，確定集群，擴(kuò)展優(yōu)先蚕钦，則選Haproxy/LVS亭病，穩(wěn)定優(yōu)先則選F5。
第三級(jí)嘶居，Nginx+KeepAlived罪帖，確定實(shí)例促煮。
（4）架構(gòu)圖

架構(gòu)設(shè)計(jì)

• 組合的基本原則為：DNS 負(fù)載均衡用于實(shí)現(xiàn)地理級(jí)別的負(fù)載均衡；硬件負(fù)載均衡用于實(shí)現(xiàn)集群級(jí)別的負(fù)載均衡整袁；軟件負(fù)載均衡用于實(shí)現(xiàn)機(jī)器級(jí)別的負(fù)載均衡菠齿。
• 三種主流負(fù)載均衡器選型參考：

Ngxin 的性能是萬(wàn)級(jí)，一般的 Linux 服務(wù)器上裝一個(gè) Nginx 大概能到 5 萬(wàn) / 秒坐昙；LVS 的性能是十萬(wàn)級(jí)绳匀，據(jù)說(shuō)可達(dá)到 80 萬(wàn) / 秒；而 F5 性能是百萬(wàn)級(jí)炸客，從 200 萬(wàn) / 秒到 800 萬(wàn) / 秒都有

三疾棵、再論接入層負(fù)載均衡

接入層技術(shù)：

1）nginx：一個(gè)高性能的web-server和實(shí)施反向代理的軟件
2）lvs：Linux Virtual Server，使用集群技術(shù)痹仙，實(shí)現(xiàn)在linux操作系統(tǒng)層面的一個(gè)高性能是尔、高可用、負(fù)載均衡服務(wù)器
3）keepalived：一款用來(lái)檢測(cè)服務(wù)狀態(tài)存活性的軟件开仰，常用來(lái)做高可用
4）f5：一個(gè)高性能拟枚、高可用、負(fù)載均衡的硬件設(shè)備（聽(tīng)上去和lvs功能差不多众弓？）
5）DNS輪詢：通過(guò)在DNS-server上對(duì)一個(gè)域名設(shè)置多個(gè)ip解析恩溅，來(lái)擴(kuò)充web-server性能及實(shí)施負(fù)載均衡的技術(shù)

• 接入層技術(shù)演進(jìn)

1、裸奔時(shí)代（0）單機(jī)架構(gòu)

裸奔時(shí)代的架構(gòu)圖

1）瀏覽器通過(guò)DNS-server谓娃，域名解析到ip
2）瀏覽器通過(guò)ip訪問(wèn)web-server

缺點(diǎn)：

1）非高可用脚乡，web-server掛了整個(gè)系統(tǒng)就掛了
2）擴(kuò)展性差，當(dāng)吞吐量達(dá)到web-server上限時(shí)滨达，無(wú)法擴(kuò)容
注：?jiǎn)螜C(jī)不涉及負(fù)載均衡的問(wèn)題

2每窖、簡(jiǎn)易擴(kuò)容方案（1）DNS輪詢

DNS輪詢擴(kuò)容架構(gòu)

1）多部署幾份web-server，1個(gè)tomcat抗1000弦悉，部署3個(gè)tomcat就能抗3000
2）在DNS-server層面，域名每次解析到不同的ip

優(yōu)點(diǎn)：

1）零成本：在DNS-server上多配幾個(gè)ip即可蟆炊，功能也不收費(fèi)
2）部署簡(jiǎn)單：多部署幾個(gè)web-server即可稽莉，原系統(tǒng)架構(gòu)不需要做任何改造
3）負(fù)載均衡：變成了多機(jī)，但負(fù)載基本是均衡的

缺點(diǎn)：

1）非高可用：DNS-server只負(fù)責(zé)域名解析ip涩搓，這個(gè)ip對(duì)應(yīng)的服務(wù)是否可用污秆，DNS-server是不保證的，假設(shè)有一個(gè)web-server掛了昧甘，部分服務(wù)會(huì)受到影響
2）擴(kuò)容非實(shí)時(shí)：DNS解析有一個(gè)生效周期
3）暴露了太多的外網(wǎng)ip

3良拼、簡(jiǎn)易擴(kuò)容方案（2）nginx

nginx擴(kuò)容

1）站點(diǎn)層與瀏覽器層之間加入了一個(gè)反向代理層，利用高性能的nginx來(lái)做反向代理
2）nginx將http請(qǐng)求分發(fā)給后端多個(gè)web-server

優(yōu)點(diǎn)：

1）DNS-server不需要?jiǎng)?br> 2）負(fù)載均衡：通過(guò)nginx來(lái)保證
3）只暴露一個(gè)外網(wǎng)ip充边，nginx->tomcat之間使用內(nèi)網(wǎng)訪問(wèn)
4）擴(kuò)容實(shí)時(shí)：nginx內(nèi)部可控庸推，隨時(shí)增加web-server隨時(shí)實(shí)時(shí)擴(kuò)容
5）能夠保證站點(diǎn)層的可用性：任何一臺(tái)tomcat掛了常侦，nginx可以將流量遷移到其他tomcat

缺點(diǎn)：

1）時(shí)延增加+架構(gòu)更復(fù)雜了：中間多加了一個(gè)反向代理層
2）反向代理層成了單點(diǎn)，非高可用：tomcat掛了不影響服務(wù)贬媒，nginx掛了怎么辦聋亡？

4、高可用方案（3）keepalived

keepalived高可用

1）做兩臺(tái)nginx組成一個(gè)集群际乘，分別部署上keepalived坡倔，設(shè)置成相同的虛IP，保證nginx的高可用
2）當(dāng)一臺(tái)nginx掛了脖含，keepalived能夠探測(cè)到罪塔，并將流量自動(dòng)遷移到另一臺(tái)nginx上，整個(gè)過(guò)程對(duì)調(diào)用方透明

缺點(diǎn)：

1）資源利用率只有50%
2）nginx仍然是接入單點(diǎn)养葵，如果接入吞吐量超過(guò)的nginx的性能上限怎么辦征堪，例如qps達(dá)到了50000咧？

5港柜、scale up擴(kuò)容方案（4）lvs/f5

nginx畢竟是軟件请契，性能比tomcat好，但總有個(gè)上限夏醉，超出了上限爽锥，還是扛不住。lvs就不一樣了畔柔，它實(shí)施在操作系統(tǒng)層面氯夷；f5的性能又更好了，它實(shí)施在硬件層面靶擦；它們性能比nginx好很多腮考，例如每秒可以抗10w，這樣可以利用他們來(lái)擴(kuò)容玄捕。

lvs高可用方案

1）如果通過(guò)nginx可以擴(kuò)展多個(gè)tomcat一樣踩蔚，可以通過(guò)lvs來(lái)擴(kuò)展多個(gè)nginx
2）通過(guò)keepalived+VIP的方案可以保證可用性

99.9999%的公司到這一步基本就能解決接入層高可用、擴(kuò)展性枚粘、負(fù)載均衡的問(wèn)題馅闽。假設(shè)還扛不住的話，就要考慮使用硬件設(shè)備f5等馍迄。如果還是扛不住福也，那么只有DNS來(lái)擴(kuò)容了。

6攀圈、scale out擴(kuò)容方案（5）DNS輪詢

水平擴(kuò)展暴凑，才是解決性能問(wèn)題的根本方案，能夠通過(guò)加機(jī)器擴(kuò)充性能的方案才具備最好的擴(kuò)展性赘来。facebook现喳，google凯傲，baidu的PV是不是超過(guò)80億呢，它們的域名只對(duì)應(yīng)一個(gè)ip么拿穴，終點(diǎn)又是起點(diǎn)泣洞，還是得通過(guò)DNS輪詢來(lái)進(jìn)行擴(kuò)容：

DNS擴(kuò)容

1）通過(guò)DNS輪詢來(lái)線性擴(kuò)展入口lvs層的性能
2）通過(guò)keepalived來(lái)保證高可用
3）通過(guò)lvs來(lái)擴(kuò)展多個(gè)nginx
4）通過(guò)nginx來(lái)做負(fù)載均衡，業(yè)務(wù)七層路由

7默色、云服務(wù)負(fù)載均衡

比如購(gòu)買(mǎi)了阿里云或者aws球凰。那么基本會(huì)使用云廠商提供的負(fù)載均衡中間件，比如aws（elb）腿宰、阿里云（slb）呕诉。這個(gè)負(fù)載均衡軟件可以認(rèn)為是lvs+keepalived的高可用負(fù)載均衡服務(wù)

8、接入層負(fù)載均衡總結(jié)

1）接入層架構(gòu)要考慮的問(wèn)題域?yàn)椋焊呖捎贸远取U(kuò)展性甩挫、反向代理+擴(kuò)展均衡
2）nginx、keepalived椿每、lvs伊者、f5可以很好的解決高可用、擴(kuò)展性间护、反向代理+擴(kuò)展均衡的問(wèn)題
3）水平擴(kuò)展scale out是解決擴(kuò)展性問(wèn)題的根本方案亦渗，DNS輪詢是不能完全被nginx/lvs/f5所替代的

四、異構(gòu)服務(wù)器的負(fù)載均衡及過(guò)載保護(hù)

1汁尺、需求緣起

后端的service有可能部署在硬件條件不同的服務(wù)器上：
1）如果對(duì)標(biāo)最低配的服務(wù)器“均勻”分?jǐn)傌?fù)載法精，高配的服務(wù)器的利用率不足；
2）如果對(duì)標(biāo)最高配的服務(wù)器“均勻”分?jǐn)傌?fù)載痴突，低配的服務(wù)器可能會(huì)扛不茁选；

• 能否根據(jù)異構(gòu)服務(wù)器的處理能力來(lái)動(dòng)態(tài)辽装、自適應(yīng)進(jìn)行負(fù)載均衡及過(guò)載保護(hù)帮碰？

2、service層的負(fù)載均衡回顧

service負(fù)載均衡

• service層的負(fù)載均衡拾积，一般是通過(guò)service連接池來(lái)實(shí)現(xiàn)的收毫，調(diào)用方連接池會(huì)建立與下游服務(wù)多個(gè)連接，每次請(qǐng)求“隨機(jī)”獲取連接殷勘，來(lái)保證service訪問(wèn)的均衡性。

負(fù)載均衡昔搂、故障轉(zhuǎn)移玲销、超時(shí)處理等細(xì)節(jié)也都是通過(guò)調(diào)用方連接池來(lái)實(shí)現(xiàn)的。

3摘符、實(shí)現(xiàn)動(dòng)態(tài)+自適應(yīng)的進(jìn)行負(fù)載調(diào)度

（1）通過(guò)“靜態(tài)權(quán)重”標(biāo)識(shí)service的處理能力

image.png

1瘩绒、假設(shè)service-ip1猴抹，service-ip2，service-ip3的處理能力相同锁荔，可以設(shè)置weight1=1蟀给，weight2=1，weight3=1阳堕，這樣三個(gè)service連接被獲取到的概率分別就是1/3跋理，1/3，1/3恬总，能夠保證均衡訪問(wèn)前普。
2、假設(shè)service-ip1的處理能力是service-ip2壹堰，service-ip3的處理能力的2倍拭卿，可以設(shè)置weight1=2，weight2=1贱纠，weight3=1峻厚，這樣三個(gè)service連接被獲取到的概率分別就是2/4，1/4并巍，1/4目木，能夠保證處理能力強(qiáng)的service分別到等比的流量，不至于資源浪費(fèi)懊渡。

優(yōu)點(diǎn)：簡(jiǎn)單刽射，能夠快速的實(shí)現(xiàn)異構(gòu)服務(wù)器的負(fù)載均衡。
缺點(diǎn)：權(quán)重是固定的剃执，無(wú)法自適應(yīng)動(dòng)態(tài)調(diào)整誓禁，而很多時(shí)候，服務(wù)器的處理能力是很難用一個(gè)固定的數(shù)值量化肾档。

（2）通過(guò)“動(dòng)態(tài)權(quán)重”標(biāo)識(shí)service的處理能力
提問(wèn)：通過(guò)什么來(lái)標(biāo)識(shí)一個(gè)service的處理能力呢摹恰？
回答：其實(shí)一個(gè)service能不能處理得過(guò)來(lái)，能不能響應(yīng)得過(guò)來(lái)怒见，應(yīng)該由調(diào)用方說(shuō)了算俗慈。調(diào)用服務(wù)，快速處理了遣耍，處理能力跟得上闺阱；調(diào)用服務(wù)，處理超時(shí)了舵变，處理能力很有可能跟不上了酣溃。

動(dòng)態(tài)權(quán)重設(shè)計(jì)：

1）用一個(gè)動(dòng)態(tài)權(quán)重來(lái)標(biāo)識(shí)每個(gè)service的處理能力瘦穆，默認(rèn)初始處理能力相同，即分配給每個(gè)service的概率相等扛或；
2）每當(dāng)service成功處理一個(gè)請(qǐng)求，認(rèn)為service處理能力足夠黔姜，權(quán)重動(dòng)態(tài)+1
3）每當(dāng)service超時(shí)處理一個(gè)請(qǐng)求五慈，認(rèn)為service處理能力可能要跟不上了毙芜，權(quán)重動(dòng)態(tài)-10（權(quán)重下降會(huì)更快）
4）為了方便權(quán)重的處理，可以把權(quán)重的范圍限定為[0, 100]，把權(quán)重的初始值設(shè)為60分

例如：

1、假設(shè)service-ip1罗珍，service-ip2核无，service-ip3的動(dòng)態(tài)權(quán)重初始值weight1=weight2=weight3=60，剛開(kāi)始時(shí)，請(qǐng)求分配給這3臺(tái)service的概率分別是60/180，60/180，60/180穷绵，即負(fù)載是均衡的揍障。
2癌蚁、隨著時(shí)間的推移，處理能力強(qiáng)的service成功處理的請(qǐng)求越來(lái)越多，處理能力弱的service偶爾有超時(shí)饿自，隨著動(dòng)態(tài)權(quán)重的增減健田，權(quán)重可能變化成了weight1=100总放，weight2=60，weight3=40，那么此時(shí)融虽，請(qǐng)求分配給這3臺(tái)service的概率分別是100/200，60/200苛预，40/200筹吐，即處理能力強(qiáng)的service會(huì)被分配到更多的流量秘遏。

4丘薛、過(guò)載保護(hù)

無(wú)過(guò)載下

有過(guò)載保護(hù)下

互聯(lián)網(wǎng)軟件架構(gòu)設(shè)計(jì)中所指的過(guò)載保護(hù)，是指當(dāng)系統(tǒng)負(fù)載超過(guò)一個(gè)service的處理能力時(shí)邦危，如果service不進(jìn)行自我保護(hù)洋侨，可能導(dǎo)致對(duì)外呈現(xiàn)處理能力為0，且不能自動(dòng)恢復(fù)的現(xiàn)象倦蚪。而service的過(guò)載保護(hù)希坚，是指即使系統(tǒng)負(fù)載超過(guò)一個(gè)service的處理能力，service讓能保證對(duì)外提供有損的穩(wěn)定服務(wù)陵且。

（1）設(shè)置一個(gè)閾值裁僧，超過(guò)閾值直接丟棄

• 最簡(jiǎn)易的方式，服務(wù)端設(shè)定一個(gè)負(fù)載閾值，超過(guò)這個(gè)閾值的請(qǐng)求壓過(guò)來(lái)聊疲，全部拋棄茬底。這個(gè)方式不是特別優(yōu)雅。

（2）借助“動(dòng)態(tài)權(quán)重”來(lái)實(shí)施過(guò)載保護(hù)
案例策略：

1）如果某一個(gè)service的連接上获洲，連續(xù)3個(gè)請(qǐng)求都超時(shí)桩警，即連續(xù)-10分三次，客戶端就可以認(rèn)為昌妹，服務(wù)器慢慢的要處理不過(guò)來(lái)了，得給這個(gè)service緩一小口氣握截，于是設(shè)定策略：接下來(lái)的若干時(shí)間內(nèi)飞崖，例如1秒（或者接下來(lái)的若干個(gè)請(qǐng)求），請(qǐng)求不再分配給這個(gè)service谨胞；
2）如果某一個(gè)service的動(dòng)態(tài)權(quán)重固歪，降為了0（像連續(xù)10個(gè)請(qǐng)求超時(shí)，中間休息了3次還超時(shí)）胯努，客戶端就可以認(rèn)為牢裳，服務(wù)器完全處理不過(guò)來(lái)了，得給這個(gè)service喘一大口氣叶沛，于是設(shè)定策略：接下來(lái)的若干時(shí)間內(nèi)蒲讯，例如1分鐘（為什么是1分鐘，根據(jù)經(jīng)驗(yàn)灰署，此時(shí)service一般在發(fā)生fullGC判帮，差不多1分鐘能回過(guò)神來(lái)），請(qǐng)求不再分配給這個(gè)service溉箕；
3）可以有更復(fù)雜的保護(hù)策略…

5晦墙、總結(jié)

1）service的負(fù)載均衡、故障轉(zhuǎn)移肴茄、超時(shí)處理通常是RPC-client連接池層面來(lái)實(shí)施的
2）異構(gòu)服務(wù)器負(fù)載均衡晌畅，最簡(jiǎn)單的方式是靜態(tài)權(quán)重法，缺點(diǎn)是無(wú)法自適應(yīng)動(dòng)態(tài)調(diào)整
3）動(dòng)態(tài)權(quán)重法寡痰，可以動(dòng)態(tài)的根據(jù)service的處理能力來(lái)分配負(fù)載抗楔，需要有連接池層面的微小改動(dòng)
4）過(guò)載保護(hù)，是在負(fù)載過(guò)高時(shí)氓癌，service為了保護(hù)自己谓谦，保證一定處理能力的一種自救方法
5）動(dòng)態(tài)權(quán)重法，還可以用做service的過(guò)載保護(hù)