前言
高并發(fā)經(jīng)常會(huì)發(fā)生在有大活躍用戶量壳坪，用戶高聚集的業(yè)務(wù)場(chǎng)景中舶得，如：秒殺活動(dòng)，定時(shí)領(lǐng)取紅包等爽蝴。
為了讓業(yè)務(wù)可以流暢的運(yùn)行并且給用戶一個(gè)好的交互體驗(yàn)沐批，我們需要根據(jù)業(yè)務(wù)場(chǎng)景預(yù)估達(dá)到的并發(fā)量等因素，來設(shè)計(jì)適合自己業(yè)務(wù)場(chǎng)景的高并發(fā)處理方案蝎亚。
在電商相關(guān)產(chǎn)品開發(fā)的這些年九孩，我有幸的遇到了并發(fā)下的各種坑，這一路摸爬滾打過來有著不少的血淚史发框，這里進(jìn)行的總結(jié)躺彬，作為自己的歸檔記錄，同時(shí)分享給大家梅惯。
服務(wù)器架構(gòu)
業(yè)務(wù)從發(fā)展的初期到逐漸成熟顾患，服務(wù)器架構(gòu)也是從相對(duì)單一到集群，再到分布式服務(wù)个唧。
一個(gè)可以支持高并發(fā)的服務(wù)少不了好的服務(wù)器架構(gòu)江解，需要有均衡負(fù)載，數(shù)據(jù)庫需要主從集群徙歼，nosql緩存需要主從集群犁河，靜態(tài)文件需要上傳cdn，這些都是能讓業(yè)務(wù)程序流暢運(yùn)行的強(qiáng)大后盾魄梯。
服務(wù)器這塊多是需要運(yùn)維人員來配合搭建桨螺，具體我就不多說了，點(diǎn)到為止酿秸。
大致需要用到的服務(wù)器架構(gòu)如下：
服務(wù)器
均衡負(fù)載(如：nginx灭翔，阿里云SLB)
資源監(jiān)控
分布式
數(shù)據(jù)庫
主從分離，集群
DBA 表優(yōu)化辣苏，索引優(yōu)化肝箱，等
分布式
nosql
redis
主從分離哄褒，集群
mongodb
主從分離，集群
memcache
主從分離煌张，集群
cdn
html
css
js
image
并發(fā)測(cè)試
高并發(fā)相關(guān)的業(yè)務(wù)呐赡，需要進(jìn)行并發(fā)的測(cè)試，通過大量的數(shù)據(jù)分析評(píng)估出整個(gè)架構(gòu)可以支撐的并發(fā)量骏融。
測(cè)試高并發(fā)可以使用第三方服務(wù)器或者自己測(cè)試服務(wù)器链嘀，利用測(cè)試工具進(jìn)行并發(fā)請(qǐng)求測(cè)試，分析測(cè)試數(shù)據(jù)得到可以支撐并發(fā)數(shù)量的評(píng)估档玻，這個(gè)可以作為一個(gè)預(yù)警參考怀泊，俗話說知己自彼百戰(zhàn)不殆。
第三方服務(wù):
阿里云性能測(cè)試
并發(fā)測(cè)試工具：
Apache JMeter
Visual Studio性能負(fù)載測(cè)試
Microsoft Web Application Stress Tool
實(shí)戰(zhàn)方案
通用方案
日用戶流量大误趴，但是比較分散包个，偶爾會(huì)有用戶高聚的情況；
場(chǎng)景： 用戶簽到冤留，用戶中心碧囊，用戶訂單，等
服務(wù)器架構(gòu)圖：
說明：
場(chǎng)景中的這些業(yè)務(wù)基本是用戶進(jìn)入APP后會(huì)操作到的纤怒，除了活動(dòng)日(618,雙11糯而，等)，這些業(yè)務(wù)的用戶量都不會(huì)高聚集泊窘，同時(shí)這些業(yè)務(wù)相關(guān)的表都是大數(shù)據(jù)表熄驼，業(yè)務(wù)多是查詢操作，所以我們需要減少用戶直接命中DB的查詢烘豹；優(yōu)先查詢緩存瓜贾，如果緩存不存在，再進(jìn)行DB查詢携悯，將查詢結(jié)果緩存起來祭芦。
更新用戶相關(guān)緩存需要分布式存儲(chǔ)，比如使用用戶ID進(jìn)行hash分組憔鬼，把用戶分布到不同的緩存中龟劲，這樣一個(gè)緩存集合的總量不會(huì)很大，不會(huì)影響查詢效率轴或。
方案如：
用戶簽到獲取積分
計(jì)算出用戶分布的key,redis hash中查找用戶今日簽到信息
如果查詢到簽到信息昌跌，返回簽到信息
如果沒有查詢到，DB查詢今日是否簽到過照雁，如果有簽到過蚕愤，就把簽到信息同步redis緩存。
如果DB中也沒有查詢到今日的簽到記錄，就進(jìn)行簽到邏輯萍诱，操作DB添加今日簽到記錄悬嗓，添加簽到積分(這整個(gè)DB操作是一個(gè)事務(wù))
緩存簽到信息到redis，返回簽到信息
注意這里會(huì)有并發(fā)情況下的邏輯問題砂沛，如：一天簽到多次烫扼，發(fā)放多次積分給用戶曙求。
我的博文[大話程序猿眼里的高并發(fā)]有相關(guān)的處理方案碍庵。
用戶訂單
這里我們只緩存用戶第一頁的訂單信息，一頁40條數(shù)據(jù)悟狱，用戶一般也只會(huì)看第一頁的訂單數(shù)據(jù)
用戶訪問訂單列表静浴，如果是第一頁讀緩存，如果不是讀DB
計(jì)算出用戶分布的key,redis hash中查找用戶訂單信息
如果查詢到用戶訂單信息挤渐，返回訂單信息
如果不存在就進(jìn)行DB查詢第一頁的訂單數(shù)據(jù)苹享，然后緩存redis，返回訂單信息
用戶中心
計(jì)算出用戶分布的key,redis hash中查找用戶訂單信息
如果查詢到用戶信息浴麻，返回用戶信息
如果不存在進(jìn)行用戶DB查詢得问，然后緩存redis，返回用戶信息
其他業(yè)務(wù)
上面例子多是針對(duì)用戶存儲(chǔ)緩存软免，如果是公用的緩存數(shù)據(jù)需要注意一些問題宫纬，如下
注意公用的緩存數(shù)據(jù)需要考慮并發(fā)下的可能會(huì)導(dǎo)致大量命中DB查詢，可以使用管理后臺(tái)更新緩存膏萧，或者DB查詢的鎖住操作漓骚。
我的博文[大話Redis進(jìn)階]對(duì)更新緩存問題和推薦方案的分享。
以上例子是一個(gè)相對(duì)簡(jiǎn)單的高并發(fā)架構(gòu)榛泛，并發(fā)量不是很高的情況可以很好的支撐蝌蹂，但是隨著業(yè)務(wù)的壯大，用戶并發(fā)量增加曹锨，我們的架構(gòu)也會(huì)進(jìn)行不斷的優(yōu)化和演變孤个，比如對(duì)業(yè)務(wù)進(jìn)行服務(wù)化，每個(gè)服務(wù)有自己的并發(fā)架構(gòu)沛简，自己的均衡服務(wù)器硼身，分布式數(shù)據(jù)庫，nosql主從集群覆享，如：用戶服務(wù)佳遂、訂單服務(wù)；
消息隊(duì)列
秒殺撒顿、秒搶等活動(dòng)業(yè)務(wù)丑罪，用戶在瞬間涌入產(chǎn)生高并發(fā)請(qǐng)求
場(chǎng)景：定時(shí)領(lǐng)取紅包，等
服務(wù)器架構(gòu)圖：
說明：
場(chǎng)景中的定時(shí)領(lǐng)取是一個(gè)高并發(fā)的業(yè)務(wù)，像秒殺活動(dòng)用戶會(huì)在到點(diǎn)的時(shí)間涌入吩屹，DB瞬間就接受到一記暴擊跪另，hold不住就會(huì)宕機(jī)，然后影響整個(gè)業(yè)務(wù)煤搜；
像這種不是只有查詢的操作并且會(huì)有高并發(fā)的插入或者更新數(shù)據(jù)的業(yè)務(wù)免绿，前面提到的通用方案就無法支撐，并發(fā)的時(shí)候都是直接命中DB擦盾；
設(shè)計(jì)這塊業(yè)務(wù)的時(shí)候就會(huì)使用消息隊(duì)列的嘲驾，可以將參與用戶的信息添加到消息隊(duì)列中，然后再寫個(gè)多線程程序去消耗隊(duì)列迹卢，給隊(duì)列中的用戶發(fā)放紅包辽故；
方案如：
定時(shí)領(lǐng)取紅包
一般習(xí)慣使用 redis的 list
當(dāng)用戶參與活動(dòng)，將用戶參與信息push到隊(duì)列中
然后寫個(gè)多線程程序去pop數(shù)據(jù)腐碱，進(jìn)行發(fā)放紅包的業(yè)務(wù)
這樣可以支持高并發(fā)下的用戶可以正常的參與活動(dòng)誊垢，并且避免數(shù)據(jù)庫服務(wù)器宕機(jī)的危險(xiǎn)
附加：
通過消息隊(duì)列可以做很多的服務(wù)。
如：定時(shí)短信發(fā)送服務(wù)症见，使用sset(sorted set)喂走，發(fā)送時(shí)間戳作為排序依據(jù)，短信數(shù)據(jù)隊(duì)列根據(jù)時(shí)間升序谋作，然后寫個(gè)程序定時(shí)循環(huán)去讀取sset隊(duì)列中的第一條芋肠，當(dāng)前時(shí)間是否超過發(fā)送時(shí)間，如果超過就進(jìn)行短信發(fā)送瓷们。
一級(jí)緩存
高并發(fā)請(qǐng)求連接緩存服務(wù)器超出服務(wù)器能夠接收的請(qǐng)求連接量业栅，部分用戶出現(xiàn)建立連接超時(shí)無法讀取到數(shù)據(jù)的問題；
因此需要有個(gè)方案當(dāng)高并發(fā)時(shí)候時(shí)候可以減少命中緩存服務(wù)器谬晕；
這時(shí)候就出現(xiàn)了一級(jí)緩存的方案碘裕，一級(jí)緩存就是使用站點(diǎn)服務(wù)器緩存去存儲(chǔ)數(shù)據(jù)，注意只存儲(chǔ)部分請(qǐng)求量大的數(shù)據(jù)攒钳，并且緩存的數(shù)據(jù)量要控制帮孔，不能過分的使用站點(diǎn)服務(wù)器的內(nèi)存而影響了站點(diǎn)應(yīng)用程序的正常運(yùn)行，一級(jí)緩存需要設(shè)置秒單位的過期時(shí)間不撑，具體時(shí)間根據(jù)業(yè)務(wù)場(chǎng)景設(shè)定文兢，目的是當(dāng)有高并發(fā)請(qǐng)求的時(shí)候可以讓數(shù)據(jù)的獲取命中到一級(jí)緩存，而不用連接緩存nosql數(shù)據(jù)服務(wù)器焕檬，減少nosql數(shù)據(jù)服務(wù)器的壓力
比如APP首屏商品數(shù)據(jù)接口姆坚，這些數(shù)據(jù)是公共的不會(huì)針對(duì)用戶自定義，而且這些數(shù)據(jù)不會(huì)頻繁的更新实愚，像這種接口的請(qǐng)求量比較大就可以加入一級(jí)緩存兼呵；
服務(wù)器架構(gòu)圖：
合理的規(guī)范和使用nosql緩存數(shù)據(jù)庫兔辅，根據(jù)業(yè)務(wù)拆分緩存數(shù)據(jù)庫的集群，這樣基本可以很好支持業(yè)務(wù)击喂，一級(jí)緩存畢竟是使用站點(diǎn)服務(wù)器緩存所以還是要善用维苔。
靜態(tài)化數(shù)據(jù)
高并發(fā)請(qǐng)求數(shù)據(jù)不變化的情況下如果可以不請(qǐng)求自己的服務(wù)器獲取數(shù)據(jù)那就可以減少服務(wù)器的資源壓力。
對(duì)于更新頻繁度不高懂昂，并且數(shù)據(jù)允許短時(shí)間內(nèi)的延遲介时，可以通過數(shù)據(jù)靜態(tài)化成JSON，XML,HTML等數(shù)據(jù)文件上傳CDN凌彬，在拉取數(shù)據(jù)的時(shí)候優(yōu)先到CDN拉取沸柔，如果沒有獲取到數(shù)據(jù)再從緩存，數(shù)據(jù)庫中獲取饿序，當(dāng)管理人員操作后臺(tái)編輯數(shù)據(jù)再重新生成靜態(tài)文件上傳同步到CDN勉失，這樣在高并發(fā)的時(shí)候可以使數(shù)據(jù)的獲取命中在CDN服務(wù)器上羹蚣。
CDN節(jié)點(diǎn)同步有一定的延遲性原探，所以找一個(gè)靠譜的CDN服務(wù)器商也很重要
其他方案
對(duì)于更新頻繁度不高的數(shù)據(jù)，APP,PC瀏覽器顽素，可以緩存數(shù)據(jù)到本地咽弦，然后每次請(qǐng)求接口的時(shí)候上傳當(dāng)前緩存數(shù)據(jù)的版本號(hào)，服務(wù)端接收到版本號(hào)判斷版本號(hào)與最新數(shù)據(jù)版本號(hào)是否一致胁出，如果不一樣就進(jìn)行最新數(shù)據(jù)的查詢并返回最新數(shù)據(jù)和最新版本號(hào)型型，如果一樣就返回狀態(tài)碼告知數(shù)據(jù)已經(jīng)是最新。減少服務(wù)器壓力：資源全蝶、帶寬
