電商的秒殺和搶購，對我們來說杉女，都不是一個陌生的東西艇拍。然而，從技術的角度來說宠纯，這對于Web系統(tǒng)是一個巨大的考驗。當一個Web系統(tǒng)层释，在一秒鐘內收到數以萬計甚至更多請求時婆瓜，系統(tǒng)的優(yōu)化和穩(wěn)定至關重要。這次我們會關注秒殺和搶購的技術實現(xiàn)和優(yōu)化贡羔，同時廉白，從技術層面揭開，為什么我們總是不容易搶到火車票的原因乖寒？?

一猴蹂、大規(guī)模并發(fā)帶來的挑戰(zhàn)

在過去的工作中，我曾經面對過5w每秒的高并發(fā)秒殺功能楣嘁，在這個過程中磅轻，整個Web系統(tǒng)遇到了很多的問題和挑戰(zhàn)。如果Web系統(tǒng)不做針對性的優(yōu)化逐虚，會輕而易舉地陷入到異常狀態(tài)聋溜。我們現(xiàn)在一起來討論下，優(yōu)化的思路和方法哈叭爱。?

1. 請求接口的合理設計

一個秒殺或者搶購頁面撮躁，通常分為2個部分，一個是靜態(tài)的HTML等內容买雾，另一個就是參與秒殺的Web后臺請求接口把曼。

通常靜態(tài)HTML等內容，是通過CDN的部署漓穿，一般壓力不大嗤军，核心瓶頸實際上在后臺請求接口上。這個后端接口器净，必須能夠支持高并發(fā)請求型雳，同時，非常重要的一點，必須盡可能“快”纠俭，在最短的時間里返回用戶的請求結果沿量。為了實現(xiàn)盡可能快這一點，接口的后端存儲使用內存級別的操作會更好一點冤荆。仍然直接面向MySQL之類的存儲是不合適的朴则，如果有這種復雜業(yè)務的需求，都建議采用異步寫入钓简。

當然乌妒，也有一些秒殺和搶購采用“滯后反饋”，就是說秒殺當下不知道結果外邓，一段時間后才可以從頁面中看到用戶是否秒殺成功撤蚊。但是，這種屬于“偷懶”行為损话，同時給用戶的體驗也不好侦啸，容易被用戶認為是“暗箱操作”。

2. 高并發(fā)的挑戰(zhàn)：一定要“快”

我們通常衡量一個Web系統(tǒng)的吞吐率的指標是QPS（Query Per

Second丧枪，每秒處理請求數）光涂，解決每秒數萬次的高并發(fā)場景，這個指標非常關鍵拧烦。舉個例子忘闻，我們假設處理一個業(yè)務請求平均響應時間為100ms，同時恋博，系統(tǒng)內有20臺Apache的Web服務器齐佳，配置MaxClients為500個（表示Apache的最大連接數目）。

那么债沮，我們的Web系統(tǒng)的理論峰值QPS為（理想化的計算方式）：

20*500/0.1 = 100000 （10萬QPS）

咦重虑？我們的系統(tǒng)似乎很強大，1秒鐘可以處理完10萬的請求秦士，5w/s的秒殺似乎是“紙老虎”哈缺厉。實際情況，當然沒有這么理想隧土。在高并發(fā)的實際場景下提针，機器都處于高負載的狀態(tài)，在這個時候平均響應時間會被大大增加曹傀。

就Web服務器而言辐脖，Apache打開了越多的連接進程，CPU需要處理的上下文切換也越多皆愉，額外增加了CPU的消耗嗜价，然后就直接導致平均響應時間增加艇抠。因此上述的MaxClient數目，要根據CPU久锥、內存等硬件因素綜合考慮家淤，絕對不是越多越好∩桑可以通過Apache自帶的abench來測試一下絮重，取一個合適的值。然后歹苦，我們選擇內存操作級別的存儲的Redis青伤，在高并發(fā)的狀態(tài)下，存儲的響應時間至關重要殴瘦。網絡帶寬雖然也是一個因素狠角，不過，這種請求數據包一般比較小蚪腋，一般很少成為請求的瓶頸擎厢。負載均衡成為系統(tǒng)瓶頸的情況比較少，在這里不做討論哈辣吃。

那么問題來了，假設我們的系統(tǒng)芬探，在5w/s的高并發(fā)狀態(tài)下神得，平均響應時間從100ms變?yōu)?50ms（實際情況，甚至更多）：

20*500/0.25 = 40000 （4萬QPS）

于是偷仿，我們的系統(tǒng)剩下了4w的QPS哩簿，面對5w每秒的請求，中間相差了1w酝静。

然后节榜，這才是真正的惡夢開始。舉個例子别智，高速路口宗苍，1秒鐘來5部車，每秒通過5部車薄榛，高速路口運作正常讳窟。突然，這個路口1秒鐘只能通過4部車敞恋，車流量仍然依舊丽啡，結果必定出現(xiàn)大塞車。（5條車道忽然變成4條車道的感覺）

同理硬猫，某一個秒內补箍，20*500個可用連接進程都在滿負荷工作中改执，卻仍然有1萬個新來請求，沒有連接進程可用坑雅，系統(tǒng)陷入到異常狀態(tài)也是預期之內辈挂。

其實在正常的非高并發(fā)的業(yè)務場景中，也有類似的情況出現(xiàn)霞丧，某個業(yè)務請求接口出現(xiàn)問題呢岗，響應時間極慢，將整個Web請求響應時間拉得很長蛹尝，逐漸將Web服務器的可用連接數占滿后豫，其他正常的業(yè)務請求，無連接進程可用突那。

更可怕的問題是梁棠，是用戶的行為特點，系統(tǒng)越是不可用趁舀，用戶的點擊越頻繁妻柒，惡性循環(huán)最終導致“雪崩”（其中一臺Web機器掛了，導致流量分散到其他正常工作的機器上猫缭，再導致正常的機器也掛葱弟，然后惡性循環(huán)），將整個Web系統(tǒng)拖垮猜丹。

3. 重啟與過載保護

如果系統(tǒng)發(fā)生“雪崩”芝加，貿然重啟服務，是無法解決問題的射窒。最常見的現(xiàn)象是藏杖，啟動起來后，立刻掛掉脉顿。這個時候蝌麸，最好在入口層將流量拒絕，然后再將重啟艾疟。如果是redis/memcache這種服務也掛了来吩，重啟的時候需要注意“預熱”，并且很可能需要比較長的時間蔽莱。

秒殺和搶購的場景误褪，流量往往是超乎我們系統(tǒng)的準備和想象的。這個時候碾褂，過載保護是必要的兽间。如果檢測到系統(tǒng)滿負載狀態(tài)，拒絕請求也是一種保護措施正塌。在前端設置過濾是最簡單的方式嘀略，但是恤溶，這種做法是被用戶“千夫所指”的行為。更合適一點的是帜羊，將過載保護設置在CGI入口層咒程，快速將客戶的直接請求返回。

二讼育、作弊的手段：進攻與防守

秒殺和搶購收到了“海量”的請求帐姻，實際上里面的水分是很大的。不少用戶奶段，為了“搶“到商品饥瓷，會使用“刷票工具”等類型的輔助工具，幫助他們發(fā)送盡可能多的請求到服務器痹籍。還有一部分高級用戶呢铆，制作強大的自動請求腳本。這種做法的理由也很簡單蹲缠，就是在參與秒殺和搶購的請求中棺克，自己的請求數目占比越多，成功的概率越高线定。

這些都是屬于“作弊的手段”娜谊，不過，有“進攻”就有“防守”斤讥，這是一場沒有硝煙的戰(zhàn)斗哈纱皆。

1. 同一個賬號，一次性發(fā)出多個請求

部分用戶通過瀏覽器的插件或者其他工具周偎，在秒殺開始的時間里，以自己的賬號撑帖，一次發(fā)送上百甚至更多的請求蓉坎。實際上，這樣的用戶破壞了秒殺和搶購的公平性胡嘿。

這種請求在某些沒有做數據安全處理的系統(tǒng)里蛉艾，也可能造成另外一種破壞，導致某些判斷條件被繞過衷敌。例如一個簡單的領取邏輯勿侯，先判斷用戶是否有參與記錄，如果沒有則領取成功缴罗，最后寫入到參與記錄中助琐。這是個非常簡單的邏輯，但是面氓，在高并發(fā)的場景下兵钮，存在深深的漏洞蛆橡。多個并發(fā)請求通過負載均衡服務器，分配到內網的多臺Web服務器掘譬，它們首先向存儲發(fā)送查詢請求泰演，然后，在某個請求成功寫入參與記錄的時間差內葱轩，其他的請求獲查詢到的結果都是“沒有參與記錄”睦焕。這里，就存在邏輯判斷被繞過的風險靴拱。

應對方案：

在程序入口處垃喊，一個賬號只允許接受1個請求，其他請求過濾缭嫡。不僅解決了同一個賬號缔御，發(fā)送N個請求的問題，還保證了后續(xù)的邏輯流程的安全妇蛀。實現(xiàn)方案耕突，可以通過Redis這種內存緩存服務，寫入一個標志位（只允許1個請求寫成功评架，結合watch的樂觀鎖的特性）眷茁，成功寫入的則可以繼續(xù)參加。

或者纵诞，自己實現(xiàn)一個服務上祈，將同一個賬號的請求放入一個隊列中，處理完一個浙芙，再處理下一個登刺。

2. 多個賬號，一次性發(fā)送多個請求

很多公司的賬號注冊功能嗡呼，在發(fā)展早期幾乎是沒有限制的纸俭，很容易就可以注冊很多個賬號。因此南窗，也導致了出現(xiàn)了一些特殊的工作室揍很，通過編寫自動注冊腳本，積累了一大批“僵尸賬號”万伤，數量龐大窒悔，幾萬甚至幾十萬的賬號不等，專門做各種刷的行為（這就是微博中的“僵尸粉“的來源）敌买。舉個例子简珠，例如微博中有轉發(fā)抽獎的活動，如果我們使用幾萬個“僵尸號”去混進去轉發(fā)虹钮，這樣就可以大大提升我們中獎的概率北救。

這種賬號荐操，使用在秒殺和搶購里，也是同一個道理珍策。例如托启，iPhone官網的搶購，火車票黃牛黨攘宙。

應對方案：

這種場景屯耸，可以通過檢測指定機器IP請求頻率就可以解決，如果發(fā)現(xiàn)某個IP請求頻率很高蹭劈，可以給它彈出一個驗證碼或者直接禁止它的請求：

彈出驗證碼疗绣，最核心的追求，就是分辨出真實用戶铺韧。因此多矮，大家可能經常發(fā)現(xiàn)，網站彈出的驗證碼哈打，有些是“鬼神亂舞”的樣子塔逃，有時讓我們根本無法看清。他們這樣做的原因料仗，其實也是為了讓驗證碼的圖片不被輕易識別湾盗，因為強大的“自動腳本”可以通過圖片識別里面的字符，然后讓腳本自動填寫驗證碼立轧。實際上格粪，有一些非常創(chuàng)新的驗證碼，效果會比較好氛改，例如給你一個簡單問題讓你回答帐萎，或者讓你完成某些簡單操作（例如百度貼吧的驗證碼）。

直接禁止IP胜卤，實際上是有些粗暴的疆导，因為有些真實用戶的網絡場景恰好是同一出口IP的，可能會有“誤傷“瑰艘。但是這一個做法簡單高效是鬼，根據實際場景使用可以獲得很好的效果肤舞。

3. 多個賬號紫新，不同IP發(fā)送不同請求

所謂道高一尺，魔高一丈李剖。有進攻芒率，就會有防守，永不休止篙顺。這些“工作室”偶芍，發(fā)現(xiàn)你對單機IP請求頻率有控制之后充择，他們也針對這種場景，想出了他們的“新進攻方案”匪蟀，就是不斷改變IP椎麦。

有同學會好奇，這些隨機IP服務怎么來的材彪。有一些是某些機構自己占據一批獨立IP观挎，然后做成一個隨機代理IP的服務，有償提供給這些“工作室”使用段化。還有一些更為黑暗一點的嘁捷，就是通過木馬黑掉普通用戶的電腦，這個木馬也不破壞用戶電腦的正常運作显熏，只做一件事情雄嚣，就是轉發(fā)IP包，普通用戶的電腦被變成了IP代理出口喘蟆。通過這種做法缓升，黑客就拿到了大量的獨立IP，然后搭建為隨機IP服務履肃，就是為了掙錢仔沿。

應對方案：

說實話，這種場景下的請求尺棋，和真實用戶的行為封锉，已經基本相同了，想做分辨很困難膘螟。再做進一步的限制很容易“誤傷“真實用戶成福，這個時候，通常只能通過設置業(yè)務門檻高來限制這種請求了荆残，或者通過賬號行為的”數據挖掘“來提前清理掉它們奴艾。

僵尸賬號也還是有一些共同特征的，例如賬號很可能屬于同一個號碼段甚至是連號的内斯，活躍度不高蕴潦，等級低，資料不全等等俘闯。根據這些特點潭苞，適當設置參與門檻，例如限制參與秒殺的賬號等級真朗。通過這些業(yè)務手段此疹，也是可以過濾掉一些僵尸號。

4. 火車票的搶購

看到這里，同學們是否明白你為什么搶不到火車票蝗碎？如果你只是老老實實地去搶票湖笨，真的很難。通過多賬號的方式蹦骑，火車票的黃牛將很多車票的名額占據慈省，部分強大的黃牛，在處理驗證碼方面眠菇，更是“技高一籌“辫呻。

高級的黃牛刷票時，在識別驗證碼的時候使用真實的人琼锋，中間搭建一個展示驗證碼圖片的中轉軟件服務放闺，真人瀏覽圖片并填寫下真實驗證碼，返回給中轉軟件缕坎。對于這種方式怖侦，驗證碼的保護限制作用被廢除了，目前也沒有很好的解決方案谜叹。

因為火車票是根據身份證實名制的匾寝，這里還有一個火車票的轉讓操作方式。大致的操作方式荷腊，是先用買家的身份證開啟一個搶票工具艳悔，持續(xù)發(fā)送請求，黃牛賬號選擇退票女仰，然后黃牛買家成功通過自己的身份證購票成功猜年。當一列車廂沒有票了的時候，是沒有很多人盯著看的疾忍，況且黃牛們的搶票工具也很強大乔外，即使讓我們看見有退票，我們也不一定能搶得過他們哈一罩。?

最終杨幼，黃牛順利將火車票轉移到買家的身份證下。

解決方案：

并沒有很好的解決方案聂渊，唯一可以動心思的也許是對賬號數據進行“數據挖掘”差购，這些黃牛賬號也是有一些共同特征的，例如經常搶票和退票汉嗽，節(jié)假日異秤樱活躍等等。將它們分析出來诊胞，再做進一步處理和甄別暖夭。

三、高并發(fā)下的數據安全

我們知道在多線程寫入同一個文件的時候撵孤，會存現(xiàn)“線程安全”的問題（多個線程同時運行同一段代碼迈着，如果每次運行結果和單線程運行的結果是一樣的，結果和預期相同邪码，就是線程安全的）裕菠。如果是MySQL數據庫，可以使用它自帶的鎖機制很好的解決問題闭专，但是奴潘，在大規(guī)模并發(fā)的場景中，是不推薦使用MySQL的影钉。秒殺和搶購的場景中画髓，還有另外一個問題，就是“超發(fā)”平委，如果在這方面控制不慎奈虾，會產生發(fā)送過多的情況。我們也曾經聽說過廉赔，某些電商搞搶購活動肉微，買家成功拍下后，商家卻不承認訂單有效蜡塌，拒絕發(fā)貨碉纳。這里的問題，也許并不一定是商家奸詐馏艾，而是系統(tǒng)技術層面存在超發(fā)風險導致的劳曹。

1. 超發(fā)的原因

假設某個搶購場景中，我們一共只有100個商品琅摩，在最后一刻厚者，我們已經消耗了99個商品，僅剩最后一個迫吐。這個時候库菲，系統(tǒng)發(fā)來多個并發(fā)請求，這批請求讀取到的商品余量都是99個志膀，然后都通過了這一個余量判斷熙宇，最終導致超發(fā)。（同文章前面說的場景）

在上面的這個圖中溉浙，就導致了并發(fā)用戶B也“搶購成功”烫止，多讓一個人獲得了商品。這種場景戳稽，在高并發(fā)的情況下非常容易出現(xiàn)馆蠕。

2. 悲觀鎖思路

解決線程安全的思路很多期升，可以從“悲觀鎖”的方向開始討論。

悲觀鎖互躬，也就是在修改數據的時候播赁，采用鎖定狀態(tài)，排斥外部請求的修改吼渡。遇到加鎖的狀態(tài)容为，就必須等待。

雖然上述的方案的確解決了線程安全的問題寺酪，但是坎背，別忘記，我們的場景是“高并發(fā)”寄雀。也就是說得滤，會很多這樣的修改請求，每個請求都需要等待“鎖”盒犹，某些線程可能永遠都沒有機會搶到這個“鎖”耿戚，這種請求就會死在那里。同時阿趁，這種請求會很多膜蛔，瞬間增大系統(tǒng)的平均響應時間，結果是可用連接數被耗盡脖阵，系統(tǒng)陷入異常皂股。

3. FIFO隊列思路

那好，那么我們稍微修改一下上面的場景命黔，我們直接將請求放入隊列中的呜呐，采用FIFO（First Input First Output，先進先出）悍募，這樣的話蘑辑，我們就不會導致某些請求永遠獲取不到鎖∽寡纾看到這里洋魂，是不是有點強行將多線程變成單線程的感覺哈。

然后喜鼓，我們現(xiàn)在解決了鎖的問題副砍，全部請求采用“先進先出”的隊列方式來處理。那么新的問題來了庄岖，高并發(fā)的場景下豁翎，因為請求很多，很可能一瞬間將隊列內存“撐爆”隅忿，然后系統(tǒng)又陷入到了異常狀態(tài)心剥“钭穑或者設計一個極大的內存隊列，也是一種方案优烧，但是蝉揍，系統(tǒng)處理完一個隊列內請求的速度根本無法和瘋狂涌入隊列中的數目相比。也就是說匙隔，隊列內的請求會越積累越多，最終Web系統(tǒng)平均響應時候還是會大幅下降熏版，系統(tǒng)還是陷入異常纷责。

4. 樂觀鎖思路

這個時候，我們就可以討論一下“樂觀鎖”的思路了撼短。樂觀鎖再膳，是相對于“悲觀鎖”采用更為寬松的加鎖機制，大都是采用帶版本號（Version）更新曲横。實現(xiàn)就是喂柒，這個數據所有請求都有資格去修改，但會獲得一個該數據的版本號禾嫉，只有版本號符合的才能更新成功灾杰，其他的返回搶購失敗。這樣的話熙参，我們就不需要考慮隊列的問題艳吠，不過，它會增大CPU的計算開銷孽椰。但是昭娩，綜合來說，這是一個比較好的解決方案黍匾。

5.?緩存服務器

Redis分布式要保證數據都能能夠平均的緩存到每一臺機器栏渺，首先想到的做法是對數據進行分片，因為Redis是key-value存儲的锐涯，首先想到的是Hash分片磕诊，可能的做法是對key進行哈希運算，得到一個long值對分布式的數量取模會得到一個一個對應數據庫的一個映射纹腌，沒有讀取就可以定位到這臺數據庫

有很多軟件和服務都“樂觀鎖”功能的支持秀仲，例如Redis中的watch就是其中之一。通過這個實現(xiàn)壶笼，我們保證了數據的安全神僵。

四、小結

互聯(lián)網正在高速發(fā)展覆劈，使用互聯(lián)網服務的用戶越多保礼，高并發(fā)的場景也變得越來越多沛励。電商秒殺和搶購，是兩個比較典型的互聯(lián)網高并發(fā)場景炮障。雖然我們解決問題的具體技術方案可能千差萬別目派，但是遇到的挑戰(zhàn)卻是相似的，因此解決問題的思路也異曲同工胁赢。

個人整理并發(fā)解決方案企蹭。

?????a.應用層面：讀寫分離、緩存智末、隊列谅摄、集群、令牌系馆、系統(tǒng)拆分送漠、隔離、系統(tǒng)升級（可水平擴容方向）由蘑。

???? b.時間換空間：降低單次請求時間闽寡，這樣在單位時間內系統(tǒng)并發(fā)就會提升。

???? c.空間換時間：拉長整體處理業(yè)務時間尼酿，換取后臺系統(tǒng)容量空間爷狈。

原文地址：

https://blog.csdn.net/icangfeng/article/details/81201575