一尤莺、大規(guī)模并發(fā)帶來的挑戰(zhàn)
在過去的工作中旅敷，我曾經(jīng)面對過5w每秒的高并發(fā)秒殺功能，在這個過程中颤霎，整個Web系統(tǒng)遇到了很多的問題和挑戰(zhàn)媳谁。如果Web系統(tǒng)不做針對性的優(yōu)化，會輕而易舉地陷入到異常狀態(tài)友酱。我們現(xiàn)在一起來討論下晴音，優(yōu)化的思路和方法哈。
**1. 請求接口的合理設(shè)計 **
一個秒殺或者搶購頁面缔杉，通常分為2個部分锤躁，一個是靜態(tài)的HTML等內(nèi)容，另一個就是參與秒殺的Web后臺請求接口或详。
通常靜態(tài)HTML等內(nèi)容系羞，是通過CDN的部署郭计，一般壓力不大，核心瓶頸實(shí)際上在后臺請求接口上椒振。這個后端接口昭伸，必須能夠支持高并發(fā)請求，同時澎迎，非常 重要的一點(diǎn)勋乾，必須盡可能“快”，在最短的時間里返回用戶的請求結(jié)果嗡善。為了實(shí)現(xiàn)盡可能快這一點(diǎn)辑莫，接口的后端存儲使用內(nèi)存級別的操作會更好一點(diǎn)。仍然直接面向 MySQL之類的存儲是不合適的罩引，如果有這種復(fù)雜業(yè)務(wù)的需求各吨，都建議采用異步寫入。
當(dāng)然袁铐，也有一些秒殺和搶購采用“滯后反饋”揭蜒，就是說秒殺當(dāng)下不知道結(jié)果，一段時間后才可以從頁面中看到用戶是否秒殺成功剔桨。但是屉更，這種屬于“偷懶”行為，同時給用戶的體驗(yàn)也不好洒缀，容易被用戶認(rèn)為是“暗箱操作”瑰谜。
2. 高并發(fā)的挑戰(zhàn)：一定要“快” **
我們通常衡量一個Web系統(tǒng)的吞吐率的指標(biāo)是QPS（Query Per Second，每秒處理請求數(shù)）树绩，解決每秒數(shù)萬次的高并發(fā)場景萨脑，這個指標(biāo)非常關(guān)鍵。舉個例子饺饭，我們假設(shè)處理一個業(yè)務(wù)請求平均響應(yīng)時間為100ms渤早，同時， 系統(tǒng)內(nèi)有20臺Apache的Web服務(wù)器瘫俊，配置MaxClients為500個（表示Apache的最大連接數(shù)目）鹊杖。
那么，我們的Web系統(tǒng)的理論峰值QPS為（理想化的計算方式）：20500/0.1 = 100000 （10萬QPS）
咦扛芽？我們的系統(tǒng)似乎很強(qiáng)大骂蓖，1秒鐘可以處理完10萬的請求，5w/s的秒殺似乎是“紙老虎”哈胸哥。實(shí)際情況涯竟，當(dāng)然沒有這么理想。在高并發(fā)的實(shí)際場景下，機(jī)器都處于高負(fù)載的狀態(tài)庐船，在這個時候平均響應(yīng)時間會被大大增加银酬。
就Web服務(wù)器而言，Apache打開了越多的連接進(jìn)程筐钟，CPU需要處理的上下文切換也越多揩瞪，額外增加了CPU的消耗，然后就直接導(dǎo)致平均響應(yīng)時間 增加篓冲。因此上述的MaxClient數(shù)目李破，要根據(jù)CPU、內(nèi)存等硬件因素綜合考慮壹将，絕對不是越多越好嗤攻。可以通過Apache自帶的abench來測試一 下诽俯，取一個合適的值妇菱。然后，我們選擇內(nèi)存操作級別的存儲的Redis暴区，在高并發(fā)的狀態(tài)下闯团，存儲的響應(yīng)時間至關(guān)重要。網(wǎng)絡(luò)帶寬雖然也是一個因素仙粱，不過房交，這種 請求數(shù)據(jù)包一般比較小，一般很少成為請求的瓶頸伐割。負(fù)載均衡成為系統(tǒng)瓶頸的情況比較少候味，在這里不做討論哈。
那么問題來了口猜，假設(shè)我們的系統(tǒng)负溪，在5w/s的高并發(fā)狀態(tài)下，平均響應(yīng)時間從100ms變?yōu)?50ms（實(shí)際情況济炎，甚至更多）：20500/0.25 = 40000 （4萬QPS）
于是，我們的系統(tǒng)剩下了4w的QPS辐真，面對5w每秒的請求须尚，中間相差了1w。然后侍咱，這才是真正的惡夢開始耐床。舉個例子，高速路口楔脯，1秒鐘來5部車撩轰，每秒通過5部車，高速路口運(yùn)作正常。突然堪嫂，這個路口1秒鐘只能通過4部車偎箫，車流量仍然依舊，結(jié)果必定出現(xiàn)大塞車皆串。（5條車道忽然變成4條車道的感覺）同理淹办，某一個秒內(nèi)，20500個可用連接進(jìn)程都在滿負(fù)荷工作中恶复，卻仍然有1萬個新來請求怜森，沒有連接進(jìn)程可用，系統(tǒng)陷入到異常狀態(tài)也是預(yù)期之內(nèi)谤牡。
其實(shí)在正常的非高并發(fā)的業(yè)務(wù)場景中副硅，也有類似的情況出現(xiàn)，某個業(yè)務(wù)請求接口出現(xiàn)問題翅萤，響應(yīng)時間極慢恐疲，將整個Web請求響應(yīng)時間拉得很長，逐漸將Web服務(wù)器的可用連接數(shù)占滿断序，其他正常的業(yè)務(wù)請求流纹，無連接進(jìn)程可用。
更可怕的問題是违诗，是用戶的行為特點(diǎn)漱凝，系統(tǒng)越是不可用，用戶的點(diǎn)擊越頻繁诸迟，惡性循環(huán)最終導(dǎo)致“雪崩”（其中一臺Web機(jī)器掛了茸炒，導(dǎo)致流量分散到其他正常工作的機(jī)器上，再導(dǎo)致正常的機(jī)器也掛阵苇，然后惡性循環(huán)）壁公，將整個Web系統(tǒng)拖垮。
**3. 重啟與過載保護(hù) **
如果系統(tǒng)發(fā)生“雪崩”绅项，貿(mào)然重啟服務(wù)紊册，是無法解決問題的。最常見的現(xiàn)象是快耿，啟動起來后囊陡，立刻掛掉。這個時候掀亥，最好在入口層將流量拒絕撞反，然后再將重啟。如果是redis/memcache這種服務(wù)也掛了搪花，重啟的時候需要注意“預(yù)熱”遏片，并且很可能需要比較長的時間嘹害。
秒殺和搶購的場景，流量往往是超乎我們系統(tǒng)的準(zhǔn)備和想象的吮便。這個時候笔呀，過載保護(hù)是必要的。如果檢測到系統(tǒng)滿負(fù)載狀態(tài)线衫，拒絕請求也是一種保護(hù)措施凿可。在 前端設(shè)置過濾是最簡單的方式，但是授账，這種做法是被用戶“千夫所指”的行為枯跑。更合適一點(diǎn)的是，將過載保護(hù)設(shè)置在CGI入口層白热，快速將客戶的直接請求返回敛助。
二、作弊的手段：進(jìn)攻與防守
秒殺和搶購收到了“海量”的請求屋确，實(shí)際上里面的水分是很大的纳击。不少用戶，為了“搶“到商品攻臀，會使用“刷票工具”等類型的輔助工具焕数，幫助他們發(fā)送盡可 能多的請求到服務(wù)器。還有一部分高級用戶刨啸，制作強(qiáng)大的自動請求腳本堡赔。這種做法的理由也很簡單，就是在參與秒殺和搶購的請求中设联，自己的請求數(shù)目占比越多善已，成功的概率越高离例。
這些都是屬于“作弊的手段”换团，不過，有“進(jìn)攻”就有“防守”宫蛆，這是一場沒有硝煙的戰(zhàn)斗哈艘包。
**1. 同一個賬號，一次性發(fā)出多個請求 **部分用戶通過瀏覽器的插件或者其他工具耀盗，在秒殺開始的時間里辑甜，以自己的賬號，一次發(fā)送上百甚至更多的請求袍冷。實(shí)際上，這樣的用戶破壞了秒殺和搶購的公平性猫牡。
這種請求在某些沒有做數(shù)據(jù)安全處理的系統(tǒng)里胡诗，也可能造成另外一種破壞，導(dǎo)致某些判斷條件被繞過。例如一個簡單的領(lǐng)取邏輯煌恢，先判斷用戶是否有參與記 錄骇陈，如果沒有則領(lǐng)取成功，最后寫入到參與記錄中瑰抵。這是個非常簡單的邏輯你雌，但是，在高并發(fā)的場景下二汛，存在深深的漏洞婿崭。多個并發(fā)請求通過負(fù)載均衡服務(wù)器，分配 到內(nèi)網(wǎng)的多臺Web服務(wù)器肴颊，它們首先向存儲發(fā)送查詢請求氓栈，然后，在某個請求成功寫入?yún)⑴c記錄的時間差內(nèi)婿着，其他的請求獲查詢到的結(jié)果都是“沒有參與記錄”授瘦。 這里，就存在邏輯判斷被繞過的風(fēng)險竟宋。
應(yīng)對方案：在程序入口處提完，一個賬號只允許接受1個請求，其他請求過濾丘侠。不僅解決了同一個賬號徒欣，發(fā)送N個請求的問題，還保證了后續(xù)的邏輯流程的安全婉陷。實(shí)現(xiàn)方案帚称， 可以通過Redis這種內(nèi)存緩存服務(wù)，寫入一個標(biāo)志位（只允許1個請求寫成功秽澳，結(jié)合watch的樂觀鎖的特性）闯睹，成功寫入的則可以繼續(xù)參加。
或者担神，自己實(shí)現(xiàn)一個服務(wù)楼吃，將同一個賬號的請求放入一個隊列中，處理完一個妄讯，再處理下一個孩锡。
**2. 多個賬號，一次性發(fā)送多個請求 **
很多公司的賬號注冊功能亥贸，在發(fā)展早期幾乎是沒有限制的躬窜，很容易就可以注冊很多個賬號。因此炕置，也導(dǎo)致了出現(xiàn)了一些特殊的工作室荣挨，通過編寫自動注冊腳 本男韧，積累了一大批“僵尸賬號”，數(shù)量龐大默垄，幾萬甚至幾十萬的賬號不等此虑，專門做各種刷的行為（這就是微博中的“僵尸粉“的來源）。舉個例子口锭，例如微博中有轉(zhuǎn) 發(fā)抽獎的活動朦前，如果我們使用幾萬個“僵尸號”去混進(jìn)去轉(zhuǎn)發(fā)，這樣就可以大大提升我們中獎的概率鹃操。
這種賬號韭寸，使用在秒殺和搶購里，也是同一個道理组民。例如棒仍，iPhone官網(wǎng)的搶購，火車票黃牛黨臭胜。
應(yīng)對方案：這種場景莫其，可以通過檢測指定機(jī)器IP請求頻率就可以解決，如果發(fā)現(xiàn)某個IP請求頻率很高耸三，可以給它彈出一個驗(yàn)證碼或者直接禁止它的請求：
彈出驗(yàn)證碼乱陡，最核心的追求，就是分辨出真實(shí)用戶仪壮。因此憨颠，大家可能經(jīng)常發(fā)現(xiàn)，網(wǎng)站彈出的驗(yàn)證碼积锅，有些是“鬼神亂舞”的樣子爽彤， 有時讓我們根本無法看清。他們這樣做的原因缚陷，其實(shí)也是為了讓驗(yàn)證碼的圖片不被輕易識別处面，因?yàn)閺?qiáng)大的“自動腳本”可以通過圖片識別里面的字符西篓，然后讓腳本自 動填寫驗(yàn)證碼。實(shí)際上，有一些非常創(chuàng)新的驗(yàn)證碼海铆，效果會比較好寺董，例如給你一個簡單問題讓你回答壁查，或者讓你完成某些簡單操作（例如百度貼吧的驗(yàn)證碼）朴乖。
直接禁止IP，實(shí)際上是有些粗暴的窜护，因?yàn)橛行┱鎸?shí)用戶的網(wǎng)絡(luò)場景恰好是同一出口IP的效斑，可能會有“誤傷“。但是這一個做法簡單高效柱徙，根據(jù)實(shí)際場景使用可以獲得很好的效果鳍悠。
多個賬號税娜，不同IP發(fā)送不同請求所謂道高一尺，魔高一丈藏研。有進(jìn)攻，就會有防守概行，永不休止蠢挡。這些“工作室”，發(fā)現(xiàn)你對單機(jī)IP請求頻率有控制之后凳忙，他們也針對這種場景业踏，想出了他們的“新進(jìn)攻方案”，就是不斷改變IP涧卵。
有同學(xué)會好奇勤家，這些隨機(jī)IP服務(wù)怎么來的。有一些是某些機(jī)構(gòu)自己占據(jù)一批獨(dú)立IP柳恐，然后做成一個隨機(jī)代理IP的服務(wù)伐脖，有償提供給這些“工作 室”使用。還有一些更為黑暗一點(diǎn)的乐设，就是通過木馬黑掉普通用戶的電腦讼庇，這個木馬也不破壞用戶電腦的正常運(yùn)作，只做一件事情近尚，就是轉(zhuǎn)發(fā)IP包蠕啄，普通用戶的電 腦被變成了IP代理出口。通過這種做法戈锻，黑客就拿到了大量的獨(dú)立IP歼跟，然后搭建為隨機(jī)IP服務(wù)，就是為了掙錢格遭。
應(yīng)對方案：說實(shí)話哈街，這種場景下的請求，和真實(shí)用戶的行為如庭，已經(jīng)基本相同了叹卷，想做分辨很困難。再做進(jìn)一步的限制很容易“誤傷“真實(shí)用戶坪它，這個時候骤竹，通常只能通過設(shè)置業(yè)務(wù)門檻高來限制這種請求了，或者通過賬號行為的”數(shù)據(jù)挖掘“來提前清理掉它們往毡。
僵尸賬號也還是有一些共同特征的蒙揣，例如賬號很可能屬于同一個號碼段甚至是連號的，活躍度不高开瞭，等級低懒震，資料不全等等罩息。根據(jù)這些特點(diǎn)，適當(dāng)設(shè)置參與門檻个扰，例如限制參與秒殺的賬號等級瓷炮。通過這些業(yè)務(wù)手段，也是可以過濾掉一些僵尸號递宅。
**4. 火車票的搶購 **
看到這里娘香，同學(xué)們是否明白你為什么搶不到火車票？如果你只是老老實(shí)實(shí)地去搶票办龄，真的很難烘绽。通過多賬號的方式，火車票的黃牛將很多車票的名額占據(jù)俐填，部分強(qiáng)大的黃牛安接，在處理驗(yàn)證碼方面，更是“技高一籌“英融。
高級的黃牛刷票時盏檐，在識別驗(yàn)證碼的時候使用真實(shí)的人，中間搭建一個展示驗(yàn)證碼圖片的中轉(zhuǎn)軟件服務(wù)矢赁，真人瀏覽圖片并填寫下真實(shí)驗(yàn)證碼糯笙，返回給中轉(zhuǎn)軟件。對于這種方式撩银，驗(yàn)證碼的保護(hù)限制作用被廢除了给涕，目前也沒有很好的解決方案。
因?yàn)榛疖嚻笔歉鶕?jù)身份證實(shí)名制的额获，這里還有一個火車票的轉(zhuǎn)讓操作方式够庙。大致的操作方式，是先用買家的身份證開啟一個搶票工具抄邀，持續(xù)發(fā)送請 求耘眨，黃牛賬號選擇退票，然后黃牛買家成功通過自己的身份證購票成功境肾。當(dāng)一列車廂沒有票了的時候剔难，是沒有很多人盯著看的，況且黃牛們的搶票工具也很強(qiáng)大奥喻，即 使讓我們看見有退票偶宫，我們也不一定能搶得過他們哈。
最終环鲤，黃牛順利將火車票轉(zhuǎn)移到買家的身份證下纯趋。解決方案：并沒有很好的解決方案，唯一可以動心思的也許是對賬號數(shù)據(jù)進(jìn)行“數(shù)據(jù)挖掘”，這些黃牛賬號也是有一些共同特征的吵冒，例如經(jīng)常搶票和退票纯命，節(jié)假日異常活躍等等痹栖。將它們分析出來亿汞，再做進(jìn)一步處理和甄別。
三结耀、高并發(fā)下的數(shù)據(jù)安全
我們知道在多線程寫入同一個文件的時候留夜，會存現(xiàn)“線程安全”的問題（多個線程同時運(yùn)行同一段代碼，如果每次運(yùn)行結(jié)果和單線程運(yùn)行的結(jié)果是一 樣的图甜，結(jié)果和預(yù)期相同，就是線程安全的）鳖眼。如果是MySQL數(shù)據(jù)庫黑毅，可以使用它自帶的鎖機(jī)制很好的解決問題，但是钦讳，在大規(guī)模并發(fā)的場景中矿瘦，是不推薦使用 MySQL的。秒殺和搶購的場景中愿卒，還有另外一個問題缚去，就是“超發(fā)”，如果在這方面控制不慎琼开，會產(chǎn)生發(fā)送過多的情況易结。我們也曾經(jīng)聽說過，某些電商搞搶購活 動柜候，買家成功拍下后搞动，商家卻不承認(rèn)訂單有效，拒絕發(fā)貨渣刷。這里的問題鹦肿，也許并不一定是商家奸詐，而是系統(tǒng)技術(shù)層面存在超發(fā)風(fēng)險導(dǎo)致的辅柴。
**1. 超發(fā)的原因 **
假設(shè)某個搶購場景中箩溃，我們一共只有100個商品，在最后一刻碌嘀，我們已經(jīng)消耗了99個商品涣旨，僅剩最后一個。這個時候筏餐，系統(tǒng)發(fā)來多個并發(fā)請求开泽，這批請求讀取到的商品余量都是99個，然后都通過了這一個余量判斷魁瞪，最終導(dǎo)致超發(fā)穆律。（同文章前面說的場景）
在上面的這個圖中惠呼，就導(dǎo)致了并發(fā)用戶B也“搶購成功”，多讓一個人獲得了商品峦耘。這種場景剔蹋，在高并發(fā)的情況下非常容易出現(xiàn)。
**2. 悲觀鎖思路 **
解決線程安全的思路很多辅髓，可以從“悲觀鎖”的方向開始討論泣崩。
悲觀鎖，也就是在修改數(shù)據(jù)的時候洛口，采用鎖定狀態(tài)矫付，排斥外部請求的修改。遇到加鎖的狀態(tài)第焰，就必須等待买优。
雖然上述的方案的確解決了線程安全的問題，但是挺举，別忘記杀赢，我們的場景是“高并發(fā)”。也就是說湘纵，會很多這樣的修改請求脂崔，每個請求都需要等待 “鎖”，某些線程可能永遠(yuǎn)都沒有機(jī)會搶到這個“鎖”梧喷，這種請求就會死在那里砌左。同時，這種請求會很多伤柄，瞬間增大系統(tǒng)的平均響應(yīng)時間绊困，結(jié)果是可用連接數(shù)被耗 盡，系統(tǒng)陷入異常适刀。
**3. FIFO隊列思路 **
那好秤朗，那么我們稍微修改一下上面的場景，我們直接將請求放入隊列中的笔喉，采用FIFO（First Input First Output取视，先進(jìn)先出），這樣的話常挚，我們就不會導(dǎo)致某些請求永遠(yuǎn)獲取不到鎖作谭。看到這里奄毡，是不是有點(diǎn)強(qiáng)行將多線程變成單線程的感覺哈折欠。
然后，我們現(xiàn)在解決了鎖的問題，全部請求采用“先進(jìn)先出”的隊列方式來處理锐秦。那么新的問題來了咪奖，高并發(fā)的場景下，因?yàn)檎埱蠛芏嘟创玻芸赡芤凰?間將隊列內(nèi)存“撐爆”羊赵，然后系統(tǒng)又陷入到了異常狀態(tài)∩纫ィ或者設(shè)計一個極大的內(nèi)存隊列昧捷，也是一種方案，但是罐寨，系統(tǒng)處理完一個隊列內(nèi)請求的速度根本無法和瘋狂涌 入隊列中的數(shù)目相比靡挥。也就是說，隊列內(nèi)的請求會越積累越多鸯绿，最終Web系統(tǒng)平均響應(yīng)時候還是會大幅下降芹血，系統(tǒng)還是陷入異常。
**4. 樂觀鎖思路 **
這個時候楞慈，我們就可以討論一下“樂觀鎖”的思路了。樂觀鎖啃擦，是相對于“悲觀鎖”采用更為寬松的加鎖機(jī)制囊蓝，大都是采用帶版本號 （Version）更新。實(shí)現(xiàn)就是令蛉，這個數(shù)據(jù)所有請求都有資格去修改聚霜，但會獲得一個該數(shù)據(jù)的版本號，只有版本號符合的才能更新成功珠叔，其他的返回?fù)屬徥 ?這樣的話蝎宇，我們就不需要考慮隊列的問題，不過祷安，它會增大CPU的計算開銷姥芥。但是，綜合來說汇鞭，這是一個比較好的解決方案凉唐。
Web系統(tǒng)大規(guī)模并發(fā)——電商秒殺與搶購 – 徐漢彬Hansion – 技術(shù)行者有很多軟件和服務(wù)都“樂觀鎖”功能的支持，例如Redis中的watch就是其中之一霍骄。通過這個實(shí)現(xiàn)台囱，我們保證了數(shù)據(jù)的安全。
四读整、小結(jié)
互聯(lián)網(wǎng)正在高速發(fā)展簿训，使用互聯(lián)網(wǎng)服務(wù)的用戶越多，高并發(fā)的場景也變得越來越多。電商秒殺和搶購强品，是兩個比較典型的互聯(lián)網(wǎng)高并發(fā)場景膘侮。雖然我們解決問題的具體技術(shù)方案可能千差萬別，但是遇到的挑戰(zhàn)卻是相似的择懂，因此解決問題的思路也異曲同工喻喳。
聲明：本文章轉(zhuǎn)自 微信號IT_log
