隨著互聯(lián)網(wǎng)的發(fā)展之碗，各項(xiàng)軟件的客戶量日益增多蝙眶，當(dāng)客戶量達(dá)到一定峰值時(shí)，當(dāng)數(shù)以萬計(jì)的流量來臨時(shí)褪那，程序的順利運(yùn)行以及即時(shí)響應(yīng)則顯得尤為重要幽纷，就像雙11那天的淘寶一樣。那么博敬，如何設(shè)計(jì)架構(gòu)才能夠抗住這千萬級的流量霹崎。
老板讓你抗住千萬級流量，如何做架構(gòu)設(shè)計(jì)冶忱？
首先，要在我們架構(gòu)設(shè)計(jì)的時(shí)候建立一些原則。
最后囚枪，如果大家如果在自學(xué)遇到困難派诬，想找一個java的學(xué)習(xí)環(huán)境，可以加入我們的java學(xué)習(xí)圈链沼，點(diǎn)擊我加入吧默赂，會節(jié)約很多時(shí)間，減少很多在學(xué)習(xí)中遇到的難題括勺。
1. 實(shí)現(xiàn)高并發(fā)
服務(wù)拆分：將整個項(xiàng)目拆分成多個子項(xiàng)目或者模塊缆八，分而治之，將項(xiàng)目進(jìn)行水平擴(kuò)展疾捍。
服務(wù)化：解決服務(wù)調(diào)用復(fù)雜之后的服務(wù)的注冊發(fā)現(xiàn)問題奈辰。
消息隊(duì)列：解耦，異步處理
緩存：各種緩存帶來的并發(fā)
2. 實(shí)現(xiàn)高可用
集群乱豆、限流奖恰、降級
3. 業(yè)務(wù)設(shè)計(jì)
冪等：就是用戶對于同一操作發(fā)起的一次請求或者多次請求的結(jié)果是一致的，不會因?yàn)槎啻吸c(diǎn)擊而產(chǎn)生了副作用宛裕，就像數(shù)學(xué)里的數(shù)字1瑟啃，多少次冪的結(jié)果都是1。舉個最簡單的例子揩尸，那就是支付蛹屿，用戶購買商品后支付，支付扣款成功岩榆，但是返回結(jié)果的時(shí)候網(wǎng)絡(luò)異常错负，此時(shí)錢已經(jīng)扣了，用戶再次點(diǎn)擊按鈕朗恳，此時(shí)會進(jìn)行第二次扣款湿颅，返回結(jié)果成功，用戶查詢余額發(fā)現(xiàn)多扣錢了粥诫，流水記錄也變成了兩條油航。
防重：防止同樣的數(shù)據(jù)同時(shí)提交
除了在業(yè)務(wù)方向判斷和按鈕點(diǎn)擊之后不能繼續(xù)點(diǎn)擊的限制以外，在服務(wù)器端也可以做到防重：
在服務(wù)器端生成一個唯一的隨機(jī)標(biāo)識號(Token<令牌>)同事在當(dāng)前用戶的Session域中保存這個令牌怀浆，然后將令牌發(fā)送到客戶端的form表單中谊囚，在form表單中使用隱藏域來存儲這個Token，表單提交的時(shí)候聯(lián)通這個Token一起提交到服務(wù)器执赡，然后在服務(wù)器端判斷客戶提交上來的Token與服務(wù)器端生成的Token是否一致镰踏，如果不一致，那就重復(fù)提交了沙合，此時(shí)服務(wù)器端就可以不處理重復(fù)提交的表單奠伪，如果相同則處理表單，處理完后清楚當(dāng)前用戶的Session域中存儲的標(biāo)識號。高可用高并發(fā)架構(gòu)參考：高可用高并發(fā)的 9 種技術(shù)架構(gòu)绊率。
在下列情況中谨敛，服務(wù)器程序?qū)⒕芙^處理用戶提交的表單請求：
1）存儲Session域中的Token與表單提交的Token不一致
2）當(dāng)前用戶的Session中不存在Token
3）用戶提交的表單數(shù)據(jù)中沒有Token。
狀態(tài)機(jī)
軟件設(shè)計(jì)中的狀態(tài)機(jī)概念滤否，一般是指有限狀態(tài)機(jī)（英語：finite-state machine脸狸，縮寫：FSM）又稱有限狀態(tài)自動機(jī)，簡稱狀態(tài)機(jī)藐俺，是表示有限個狀態(tài)以及在這些狀態(tài)之間的轉(zhuǎn)移和動作等行為的數(shù)學(xué)模型炊甲。
這里著重講一下限流的概念和例子
限流的目的
限流的目的是通過對并發(fā)訪問/請求進(jìn)行限速或者一個時(shí)間窗口內(nèi)的請求進(jìn)行限速來保護(hù)系統(tǒng)的可用性，一旦達(dá)到限制速率就可以拒絕服務(wù)欲芹。就像手機(jī)預(yù)售一樣卿啡，假如要賣出3萬臺，只需要接收3萬用戶的請求就可以耀石，其他的用戶請求可以選擇過濾牵囤，可以提示"當(dāng)前服務(wù)器過忙，請稍后再試"的提示滞伟。推薦大家看這篇文章：接口限流算法：漏桶算法&令牌桶算法揭鳞。
限流方式：
1. 限制瞬時(shí)并發(fā)數(shù) ： 比如在入口層（nginx添加nginx_http_limit_conn_module）來限制同一個ip來源的連接數(shù)，防止惡意攻擊訪問的情況梆奈。
2. 限制總并發(fā)數(shù)：通過配置數(shù)據(jù)庫連接池野崇、線程池大小來約束總并發(fā)數(shù)
3. 限制時(shí)間窗口內(nèi)的平均速率：在接口層面，通過限制訪問速率來控制接口的并發(fā)請求亩钟。
4. 其他方式：限制遠(yuǎn)程接口的調(diào)用速率乓梨、限制MQ的消費(fèi)速率。
常用限流算法
1. 滑動窗口協(xié)議：一種常見的流量控制技術(shù)清酥，用來改善吞吐量的技術(shù)扶镀。
滑動窗口協(xié)議的由來：
滑動窗口（sliding window）是一種流量控制技術(shù)。早期的網(wǎng)絡(luò)通訊中焰轻，通信雙方不會考慮網(wǎng)絡(luò)的擁擠情況直接發(fā)送數(shù)據(jù)臭觉。由于大家不知道網(wǎng)絡(luò)擁塞狀況，同時(shí)發(fā)送數(shù)據(jù)辱志，導(dǎo)致中間節(jié)點(diǎn)阻塞掉包蝠筑，誰也發(fā)送不了數(shù)據(jù)，所以就有了滑動窗口機(jī)制來解決此問題揩懒。 發(fā)送和接收方都會維護(hù)一個數(shù)據(jù)幀的序列什乙，這個序列被稱為窗口。
定義：滑動窗口協(xié)議（Sliding Window Protocol）已球，屬于TCP協(xié)議的一種應(yīng)用臣镣，用于網(wǎng)絡(luò)數(shù)據(jù)傳輸時(shí)的流量控制辅愿，以避免擁塞的發(fā)生。該協(xié)議允許發(fā)送方在停止并等待確認(rèn)前發(fā)送多個數(shù)據(jù)分組退疫。由于發(fā)送方不必每發(fā)一個分組就停下來等待確認(rèn)渠缕，因此該協(xié)議可以加速數(shù)據(jù)的傳輸，提高網(wǎng)絡(luò)吞吐量褒繁。
發(fā)送窗口：就是發(fā)送端允許連續(xù)發(fā)送的幀的序號表。發(fā)送端可以不等待應(yīng)答而連續(xù)發(fā)送數(shù)據(jù)（可以通過設(shè)置窗口的尺寸來控制）
接收窗口：接收方允許接收的幀的序列表馍忽，凡是落在接收窗口內(nèi)的幀棒坏，接收方都必須處理，落在接收窗口外的幀將被丟棄遭笋。接收方每次允許接收的幀數(shù)稱為接收窗口的尺寸
2. 漏桶：漏桶算法能強(qiáng)行限制數(shù)據(jù)的傳輸速率坝冕。
漏桶算法思路很簡單，請求先進(jìn)入到漏桶里瓦呼，漏桶以一定的速度出水喂窟。當(dāng)水請求過大會直接溢出，可以看出漏桶算法能強(qiáng)行限制數(shù)據(jù)的傳輸速率央串。進(jìn)入端無需考慮出水端的速率磨澡，就像mq消息隊(duì)列一樣，provider只需要將消息傳入隊(duì)列中质和，而不需要關(guān)心Consumer是否接收到了消息稳摄。
對于溢出的水，就是被過濾的數(shù)據(jù)饲宿，可以直接被丟棄厦酬，也可以通過某種方式暫時(shí)保存，如加入隊(duì)列之中瘫想，像線程池里對溢出數(shù)據(jù)的4種處理機(jī)制一樣
3. 令牌桶：屬于控制速率類型的限流算法仗阅。
對于很多應(yīng)用場景來說，除了要求能夠限制數(shù)據(jù)的平均傳輸速率外国夜，還要求允許某種程度的突發(fā)傳輸减噪。這時(shí)候漏桶算法可能就不合適了，令牌桶算法更為適合支竹。令牌桶算法的原理是系統(tǒng)會以一個恒定的速度往桶里放入令牌旋廷，而如果請求需要被處理，則需要先從桶里獲取一個令牌礼搁，當(dāng)桶里沒有令牌可取時(shí)饶碘，則拒絕服務(wù)。
設(shè)置 Rate = 2 ：每秒放入令牌的個數(shù)
桶的大新狻：100
這里用一個小demo來實(shí)現(xiàn)一下令牌桶
public class TokenDemo {
//qps:每秒鐘處理完請求的次數(shù)扎运；tps:每秒鐘處理完的事務(wù)次數(shù)
//代表qps是10瑟曲；
RateLimiter rateLimiter = RateLimiter.create(10);
public void doSomething(){
if (rateLimiter.tryAcquire()){
//嘗試獲得令牌.為true則獲取令牌成功
System.out.println("正常處理");
}else{
System.out.println("處理失敗");
}
}
public static void main(String args[]) throws IOException{
/*
* CountDownLatch是通過一個計(jì)數(shù)器來實(shí)現(xiàn)的，計(jì)數(shù)器的初始值為線程的數(shù)量豪治，此值是線程將要等待的操作數(shù)（線程的數(shù)量）洞拨。
* 當(dāng)某個線程為了想要執(zhí)行這些操作而等待時(shí)， 它要使用 await()方法负拟。
* 此方法讓線程進(jìn)入休眠直到操作完成烦衣。
* 當(dāng)某個操作結(jié)束，它使用countDown() 方法來減少CountDownLatch類的內(nèi)部計(jì)數(shù)器掩浙，計(jì)數(shù)器的值就會減1花吟。
* 當(dāng)計(jì)數(shù)器到達(dá)0時(shí)，它表示所有的線程已經(jīng)完成了任務(wù)厨姚，這個類會喚醒全部使用await() 方法休眠的線程們恢復(fù)執(zhí)行任務(wù)衅澈。
*
* */
CountDownLatch latch = new CountDownLatch(1);
Random random = new Random(10);
TokenDemo tokenDemo = new TokenDemo();
for (int i=0;i<20;i++){
new Thread(()->{
try {
latch.await();
Thread.sleep(random.nextInt(1000));
tokenDemo.doSomething();
}catch (InterruptedException e){
e.printStackTrace();
}
}).start();
}
latch.countDown();
System.in.read();
}
}
執(zhí)行結(jié)果：
正常處理
正常處理
正常處理
正常處理
正常處理
處理失敗
正常處理
處理失敗
處理失敗
處理失敗
正常處理
處理失敗
正常處理
處理失敗
正常處理
正常處理
正常處理
正常處理
處理失敗
處理失敗
由此可見，當(dāng)令牌不足時(shí)谬墙，會獲取令牌失敗今布，達(dá)到限流的效果。
4. 計(jì)數(shù)器：最簡單的一種拭抬。通過控制時(shí)間段內(nèi)的請求次數(shù)部默。
—— e n d ——
多寫多敲代碼，好的代碼與扎實(shí)的基礎(chǔ)知識一定是實(shí)踐出來的
