高并發(fā)解決方案--負(fù)載均衡
當(dāng)一臺(tái)服務(wù)器的性能達(dá)到極限時(shí)诉儒，我們可以使用服務(wù)器集群來(lái)提高網(wǎng)站的整體性能袭祟。那么，在服務(wù)器集群中捂贿，需要有一臺(tái)服務(wù)器充當(dāng)調(diào)度者的角色纠修，用戶(hù)的所有請(qǐng)求都會(huì)首先由它接收，調(diào)度者再根據(jù)每臺(tái)服務(wù)器的負(fù)載情況將請(qǐng)求分配給某一臺(tái)后端服務(wù)器去處理厂僧。
那么在這個(gè)過(guò)程中扣草，調(diào)度者如何合理分配任務(wù)，保證所有后端服務(wù)器都將性能充分發(fā)揮颜屠，從而保持服務(wù)器集群的整體性能最優(yōu)辰妙，這就是負(fù)載均衡問(wèn)題。
下面詳細(xì)介紹負(fù)載均衡的四種實(shí)現(xiàn)方式甫窟。
（一）HTTP重定向?qū)崿F(xiàn)負(fù)載均衡
當(dāng)用戶(hù)向服務(wù)器發(fā)起請(qǐng)求時(shí)密浑，請(qǐng)求首先被集群調(diào)度者截獲；調(diào)度者根據(jù)某種分配策略粗井，選擇一臺(tái)服務(wù)器尔破，并將選中的服務(wù)器的IP地址封裝在HTTP響應(yīng)消息頭部的Location字段中街图，并將響應(yīng)消息的狀態(tài)碼設(shè)為302，最后將這個(gè)響應(yīng)消息返回給瀏覽器懒构。
當(dāng)瀏覽器收到響應(yīng)消息后餐济，解析Location字段，并向該URL發(fā)起請(qǐng)求胆剧，然后指定的服務(wù)器處理該用戶(hù)的請(qǐng)求絮姆，最后將結(jié)果返回給用戶(hù)。
在使用HTTP重定向來(lái)實(shí)現(xiàn)服務(wù)器集群負(fù)載均衡的過(guò)程中秩霍，需要一臺(tái)服務(wù)器作為請(qǐng)求調(diào)度者篙悯。用戶(hù)的一項(xiàng)操作需要發(fā)起兩次HTTP請(qǐng)求，一次向調(diào)度服務(wù)器發(fā)送請(qǐng)求前域，獲取后端服務(wù)器的IP辕近，第二次向后端服務(wù)器發(fā)送請(qǐng)求，獲取處理結(jié)果匿垄。
調(diào)度服務(wù)器收到用戶(hù)的請(qǐng)求后移宅，究竟選擇哪臺(tái)后端服務(wù)器處理請(qǐng)求，這由調(diào)度服務(wù)器所使用的調(diào)度策略決定椿疗。
隨機(jī)分配策略
當(dāng)調(diào)度服務(wù)器收到用戶(hù)請(qǐng)求后漏峰，可以隨機(jī)決定使用哪臺(tái)后端服務(wù)器，然后將該服務(wù)器的IP封裝在HTTP響應(yīng)消息的Location屬性中届榄，返回給瀏覽器即可浅乔。
輪詢(xún)策略(RR)
調(diào)度服務(wù)器需要維護(hù)一個(gè)值，用于記錄上次分配的后端服務(wù)器的IP铝条。那么當(dāng)新的請(qǐng)求到來(lái)時(shí)靖苇，調(diào)度者將請(qǐng)求依次分配給下一臺(tái)服務(wù)器。
由于輪詢(xún)策略需要調(diào)度者維護(hù)一個(gè)值用于記錄上次分配的服務(wù)器IP班缰，因此需要額外的開(kāi)銷(xiāo)贤壁；此外，由于這個(gè)值屬于互斥資源埠忘，那么當(dāng)多個(gè)請(qǐng)求同時(shí)到來(lái)時(shí)脾拆，為了避免線(xiàn)程的安全問(wèn)題，因此需要鎖定互斥資源莹妒，從而降低了性能名船。而隨機(jī)分配策略不需要維護(hù)額外的值，也就不存在線(xiàn)程安全問(wèn)題旨怠，因此性能比輪詢(xún)要高渠驼。
采用HTTP重定向來(lái)實(shí)現(xiàn)服務(wù)器集群的負(fù)載均衡實(shí)現(xiàn)起來(lái)較為容易，邏輯比較簡(jiǎn)單运吓，但缺點(diǎn)也較為明顯渴邦。
在HTTP重定向方法中疯趟，調(diào)度服務(wù)器只在客戶(hù)端第一次向網(wǎng)站發(fā)起請(qǐng)求的時(shí)候起作用。當(dāng)調(diào)度服務(wù)器向?yàn)g覽器返回響應(yīng)信息后谋梭，客戶(hù)端此后的操作都基于新的URL進(jìn)行的(也就是后端服務(wù)器)信峻，此后瀏覽器就不會(huì)與調(diào)度服務(wù)器產(chǎn)生關(guān)系，進(jìn)而會(huì)產(chǎn)生如下幾個(gè)問(wèn)題：
由于不同用戶(hù)的訪(fǎng)問(wèn)時(shí)間瓮床、訪(fǎng)問(wèn)頁(yè)面深度有所不同盹舞，從而每個(gè)用戶(hù)對(duì)各自的后端服務(wù)器所造成的壓力也不同。而調(diào)度服務(wù)器在調(diào)度時(shí)隘庄，無(wú)法知道當(dāng)前用戶(hù)將會(huì)對(duì)服務(wù)器造成多大的壓力踢步，因此這種方式無(wú)法實(shí)現(xiàn)真正意義上的負(fù)載均衡，只不過(guò)是把請(qǐng)求次數(shù)平均分配給每臺(tái)服務(wù)器罷了丑掺。
若分配給該用戶(hù)的后端服務(wù)器出現(xiàn)故障获印，并且如果頁(yè)面被瀏覽器緩存，那么當(dāng)用戶(hù)再次訪(fǎng)問(wèn)網(wǎng)站時(shí)街州，請(qǐng)求都會(huì)發(fā)給出現(xiàn)故障的服務(wù)器兼丰，從而導(dǎo)致訪(fǎng)問(wèn)失敗。
在了解DNS負(fù)載均衡之前鳍征，我們首先需要了解DNS域名解析的過(guò)程。
我們知道面徽，數(shù)據(jù)包采用IP地址在網(wǎng)絡(luò)中傳播艳丛，而為了方便用戶(hù)記憶，我們使用域名來(lái)訪(fǎng)問(wèn)網(wǎng)站趟紊。那么氮双，我們通過(guò)域名訪(fǎng)問(wèn)網(wǎng)站之前，首先需要將域名解析成IP地址霎匈，這個(gè)工作是由DNS完成的眶蕉。也就是域名服務(wù)器。
我們提交的請(qǐng)求不會(huì)直接發(fā)送給想要訪(fǎng)問(wèn)的網(wǎng)站唧躲，而是首先發(fā)給域名服務(wù)器，它會(huì)幫我們把域名解析成IP地址并返回給我們酌心。我們收到IP之后才會(huì)向該IP發(fā)起請(qǐng)求转捕。
那么茸苇，DNS服務(wù)器有一個(gè)天然的優(yōu)勢(shì)，如果一個(gè)域名指向了多個(gè)IP地址肛真，那么每次進(jìn)行域名解析時(shí)，DNS只要選一個(gè)IP返回給用戶(hù)爽航，就能夠?qū)崿F(xiàn)服務(wù)器集群的負(fù)載均衡蚓让。
首先需要將我們的域名指向多個(gè)后端服務(wù)器(將一個(gè)域名解析到多個(gè)IP上)乾忱，再設(shè)置一下調(diào)度策略，那么我們的準(zhǔn)備工作就完成了历极，接下來(lái)的負(fù)載均衡就完全由DNS服務(wù)器來(lái)實(shí)現(xiàn)窄瘟。
當(dāng)用戶(hù)向我們的域名發(fā)起請(qǐng)求時(shí)，DNS服務(wù)器會(huì)自動(dòng)地根據(jù)我們事先設(shè)定好的調(diào)度策略選一個(gè)合適的IP返回給用戶(hù)趟卸，用戶(hù)再向該IP發(fā)起請(qǐng)求蹄葱。
一般DNS提供商會(huì)提供一些調(diào)度策略供我們選擇，如隨機(jī)分配锄列、輪詢(xún)图云、根據(jù)請(qǐng)求者的地域分配離他最近的服務(wù)器。
DNS負(fù)載均衡最大的優(yōu)點(diǎn)就是配置簡(jiǎn)單邻邮。服務(wù)器集群的調(diào)度工作完全由DNS服務(wù)器承擔(dān)竣况，那么我們就可以把精力放在后端服務(wù)器上，保證他們的穩(wěn)定性與吞吐量筒严。而且完全不用擔(dān)心DNS服務(wù)器的性能丹泉，即便是使用了輪詢(xún)策略，它的吞吐率依然卓越萝风。
此外嘀掸，DNS負(fù)載均衡具有較強(qiáng)了擴(kuò)展性，你完全可以為一個(gè)域名解析較多的IP规惰，而且不用擔(dān)心性能問(wèn)題睬塌。
但是，由于把集群調(diào)度權(quán)交給了DNS服務(wù)器歇万，從而我們沒(méi)辦法隨心所欲地控制調(diào)度者揩晴，沒(méi)辦法定制調(diào)度策略。
DNS服務(wù)器也沒(méi)辦法了解每臺(tái)服務(wù)器的負(fù)載情況贪磺，因此沒(méi)辦法實(shí)現(xiàn)真正意義上的負(fù)載均衡硫兰。它和HTTP重定向一樣，只不過(guò)把所有請(qǐng)求平均分配給后端服務(wù)器罷了寒锚。
此外劫映，當(dāng)我們發(fā)現(xiàn)某一臺(tái)后端服務(wù)器發(fā)生故障時(shí)，即使我們立即將該服務(wù)器從域名解析中去除刹前，但由于DNS服務(wù)器會(huì)有緩存泳赋，該IP仍然會(huì)在DNS中保留一段時(shí)間，那么就會(huì)導(dǎo)致一部分用戶(hù)無(wú)法正常訪(fǎng)問(wèn)網(wǎng)站喇喉。這是一個(gè)致命的問(wèn)題祖今！好在這個(gè)問(wèn)題可以用動(dòng)態(tài)DNS來(lái)解決。
動(dòng)態(tài)DNS能夠讓我們通過(guò)程序動(dòng)態(tài)修改DNS服務(wù)器中的域名解析。從而當(dāng)我們的監(jiān)控程序發(fā)現(xiàn)某臺(tái)服務(wù)器掛了之后千诬，能立即通知DNS將其刪掉耍目。
DNS負(fù)載均衡是一種粗獷的負(fù)載均衡方法，這里只做介紹徐绑，不推薦使用邪驮。
反向代理服務(wù)器是一個(gè)位于實(shí)際服務(wù)器之前的服務(wù)器泵三，所有向我們網(wǎng)站發(fā)來(lái)的請(qǐng)求都首先要經(jīng)過(guò)反向代理服務(wù)器耕捞，服務(wù)器根據(jù)用戶(hù)的請(qǐng)求要么直接將結(jié)果返回給用戶(hù)，要么將請(qǐng)求交給后端服務(wù)器處理烫幕，再返回給用戶(hù)俺抽。
之前我們介紹了用反向代理服務(wù)器實(shí)現(xiàn)靜態(tài)頁(yè)面和常用的動(dòng)態(tài)頁(yè)面的緩存。接下來(lái)我們介紹反向代理服務(wù)器更常用的功能——實(shí)現(xiàn)負(fù)載均衡较曼。
我們知道磷斧，所有發(fā)送給我們網(wǎng)站的請(qǐng)求都首先經(jīng)過(guò)反向代理服務(wù)器。那么捷犹，反向代理服務(wù)器就可以充當(dāng)服務(wù)器集群的調(diào)度者弛饭，它可以根據(jù)當(dāng)前后端服務(wù)器的負(fù)載情況，將請(qǐng)求轉(zhuǎn)發(fā)給一臺(tái)合適的服務(wù)器萍歉，并將處理結(jié)果返回給用戶(hù)侣颂。
隱藏后端服務(wù)器。
與HTTP重定向相比枪孩，反向代理能夠隱藏后端服務(wù)器憔晒，所有瀏覽器都不會(huì)與后端服務(wù)器直接交互，從而能夠確保調(diào)度者的控制權(quán)蔑舞，提升集群的整體性能拒担。
故障轉(zhuǎn)移
與DNS負(fù)載均衡相比，反向代理能夠更快速地移除故障結(jié)點(diǎn)攻询。當(dāng)監(jiān)控程序發(fā)現(xiàn)某一后端服務(wù)器出現(xiàn)故障時(shí)从撼，能夠及時(shí)通知反向代理服務(wù)器，并立即將其刪除钧栖。
合理分配任務(wù)
HTTP重定向和DNS負(fù)載均衡都無(wú)法實(shí)現(xiàn)真正意義上的負(fù)載均衡低零，也就是調(diào)度服務(wù)器無(wú)法根據(jù)后端服務(wù)器的實(shí)際負(fù)載情況分配任務(wù)。但反向代理服務(wù)器支持手動(dòng)設(shè)定每臺(tái)后端服務(wù)器的權(quán)重拯杠。我們可以根據(jù)服務(wù)器的配置設(shè)置不同的權(quán)重毁兆，權(quán)重的不同會(huì)導(dǎo)致被調(diào)度者選中的概率的不同。
調(diào)度者壓力過(guò)大
由于所有的請(qǐng)求都先由反向代理服務(wù)器處理阴挣，那么當(dāng)請(qǐng)求量超過(guò)調(diào)度服務(wù)器的最大負(fù)載時(shí)，調(diào)度服務(wù)器的吞吐率降低會(huì)直接降低集群的整體性能纺腊。
制約擴(kuò)展
當(dāng)后端服務(wù)器也無(wú)法滿(mǎn)足巨大的吞吐量時(shí)畔咧，就需要增加后端服務(wù)器的數(shù)量茎芭，可沒(méi)辦法無(wú)限量地增加，因?yàn)闀?huì)受到調(diào)度服務(wù)器的最大吞吐量的制約誓沸。
反向代理服務(wù)器會(huì)引起一個(gè)問(wèn)題梅桩。若某臺(tái)后端服務(wù)器處理了用戶(hù)的請(qǐng)求，并保存了該用戶(hù)的session或存儲(chǔ)了緩存拜隧，那么當(dāng)該用戶(hù)再次發(fā)送請(qǐng)求時(shí)宿百，無(wú)法保證該請(qǐng)求仍然由保存了其Session或緩存的服務(wù)器處理，若由其他服務(wù)器處理洪添，先前的Session或緩存就找不到了垦页。
解決辦法1：
可以修改反向代理服務(wù)器的任務(wù)分配策略，以用戶(hù)IP作為標(biāo)識(shí)較為合適干奢。相同的用戶(hù)IP會(huì)交由同一臺(tái)后端服務(wù)器處理痊焊，從而就避免了粘滯會(huì)話(huà)的問(wèn)題。
解決辦法2：
可以在Cookie中標(biāo)注請(qǐng)求的服務(wù)器ID忿峻，當(dāng)再次提交請(qǐng)求時(shí)薄啥，調(diào)度者將該請(qǐng)求分配給Cookie中標(biāo)注的服務(wù)器處理即可。
1.1逛尚、apache
—— 它是Apache軟件基金會(huì)的一個(gè)開(kāi)放源代碼的跨平臺(tái)的網(wǎng)頁(yè)服務(wù)器垄惧，屬于老牌的web服務(wù)器了，支持基于Ip或者域名的虛擬主機(jī)绰寞，支持代理服務(wù)器到逊，支持安全Socket層(SSL)等等，目前互聯(lián)網(wǎng)主要使用它做靜態(tài)資源服務(wù)器克握，也可以做代理服務(wù)器轉(zhuǎn)發(fā)請(qǐng)求(如：圖片鏈等)蕾管，結(jié)合tomcat等servlet容器處理jsp。
1.2菩暗、ngnix
—— 俄羅斯人開(kāi)發(fā)的一個(gè)高性能的 HTTP和反向代理服務(wù)器掰曾。由于Nginx 超越 Apache 的高性能和穩(wěn)定性，使得國(guó)內(nèi)使用 Nginx 作為 Web 服務(wù)器的網(wǎng)站也越來(lái)越多停团，其中包括新浪博客旷坦、新浪播客、網(wǎng)易新聞佑稠、騰訊網(wǎng)秒梅、搜狐博客等門(mén)戶(hù)網(wǎng)站頻道等，在3w以上的高并發(fā)環(huán)境下舌胶，ngnix處理能力相當(dāng)于apache的10倍捆蜀。
參考：apache和tomcat的性能分析和對(duì)比(Nginx 0.8.x + PHP 5.2.13（FastCGI）搭建勝過(guò)Apache十倍的Web服務(wù)器（第6版）[原創(chuàng)])
1.3、lvs
——LinuxVirtual Server的簡(jiǎn)寫(xiě)，意即Linux虛擬服務(wù)器辆它，是一個(gè)虛擬的服務(wù)器集群系統(tǒng)誊薄。由畢業(yè)于國(guó)防科技大學(xué)的章文嵩博士于1998年5月創(chuàng)立，可以實(shí)現(xiàn)LINUX平臺(tái)下的簡(jiǎn)單負(fù)載均衡锰茉。了解更多呢蔫，訪(fǎng)問(wèn)官網(wǎng)：http://zh.linuxvirtualserver.org/。
1.4飒筑、HAProxy
—— HAProxy提供高可用性片吊、負(fù)載均衡以及基于TCP和HTTP應(yīng)用的代理，支持虛擬主機(jī)协屡，它是免費(fèi)俏脊、快速并且可靠的一種解決方案。HAProxy特別適用于那些負(fù)載特大的web站點(diǎn)著瓶， 這些站點(diǎn)通常又需要會(huì)話(huà)保持或七層處理联予。HAProxy運(yùn)行在當(dāng)前的硬件上，完全可以支持?jǐn)?shù)以萬(wàn)計(jì)的并發(fā)連接材原。并且它的運(yùn)行模式使得它可以很簡(jiǎn)單安全的整合進(jìn)您當(dāng)前的架構(gòu)中沸久， 同時(shí)可以保護(hù)你的web服務(wù)器不被暴露到網(wǎng)絡(luò)上.
1.5、keepalived
—— 這里說(shuō)的keepalived不是apache或者tomcat等某個(gè)組件上的屬性字段余蟹，它也是一個(gè)組件卷胯，可以實(shí)現(xiàn)web服務(wù)器的高可用(HA high availably)。它可以檢測(cè)web服務(wù)器的工作狀態(tài)威酒，如果該服務(wù)器出現(xiàn)故障被檢測(cè)到窑睁，將其剔除服務(wù)器群中，直至正常工作后葵孤，keepalive會(huì)自動(dòng)檢測(cè)到并加入到服務(wù)器群里面担钮。實(shí)現(xiàn)主備服務(wù)器發(fā)生故障時(shí)ip瞬時(shí)無(wú)縫交接。它是LVS集群節(jié)點(diǎn)健康檢測(cè)的一個(gè)用戶(hù)空間守護(hù)進(jìn)程尤仍，也是LVS的引導(dǎo)故障轉(zhuǎn)移模塊（director failover）箫津。Keepalived守護(hù)進(jìn)程可以檢查L(zhǎng)VS池的狀態(tài)。如果LVS服務(wù)器池當(dāng)中的某一個(gè)服務(wù)器宕機(jī)了宰啦。keepalived會(huì)通過(guò)一 個(gè)setsockopt呼叫通知內(nèi)核將這個(gè)節(jié)點(diǎn)從LVS拓?fù)鋱D中移除苏遥。
1.6、memcached
—— 它是一個(gè)高性能分布式內(nèi)存對(duì)象緩存系統(tǒng)赡模。當(dāng)初是Danga Interactive為了LiveJournal快速發(fā)展開(kāi)發(fā)的系統(tǒng)田炭，用于對(duì)業(yè)務(wù)查詢(xún)數(shù)據(jù)緩存，減輕數(shù)據(jù)庫(kù)的負(fù)載漓柑。其守護(hù)進(jìn)程(daemon)是用C寫(xiě)的教硫，但是客戶(hù)端支持幾乎所有語(yǔ)言(客戶(hù)端基本上有3種版本[memcache client forJava;spymemcached;xMecache])叨吮，服務(wù)端和客戶(hù)端通過(guò)簡(jiǎn)單的協(xié)議通信；在memcached里面緩存的數(shù)據(jù)必須序列化瞬矩。
1.7挤安、terracotta
—— 是一款由美國(guó)Terracotta公司開(kāi)發(fā)的著名開(kāi)源Java集群平臺(tái)。它在JVM與Java應(yīng)用之間實(shí)現(xiàn)了一個(gè)專(zhuān)門(mén)處理集群功能的抽象層丧鸯，允許用戶(hù)在不改變系統(tǒng)代碼的情況下實(shí)現(xiàn)java應(yīng)用的集群。支持?jǐn)?shù)據(jù)的持久化嫩絮、session的復(fù)制以及高可用(HA)丛肢。詳細(xì)參考：Terracotta 3.2.1簡(jiǎn)介 (二)
