互聯(lián)網(wǎng)應(yīng)用發(fā)展到今天,從單體應(yīng)用架構(gòu)到 SOA 以及今天的微服務(wù),隨著微服務(wù)化的不斷升級(jí)進(jìn)化召夹,服務(wù)和服務(wù)之間的穩(wěn)定性變得越來(lái)越重要欺抗,分布式系統(tǒng)之所以復(fù)雜售碳,主要原因是分布式系統(tǒng)需要考慮到網(wǎng)絡(luò)的延時(shí)和不可靠,微服務(wù)很重要的一個(gè)特質(zhì)就是需要保證服務(wù)冪等绞呈,保證冪等性很重要的前提需要分布式鎖控制并發(fā)贸人,同時(shí)緩存、降級(jí)和限流是保護(hù)微服務(wù)系統(tǒng)運(yùn)行穩(wěn)定性的三大利器佃声。隨著業(yè)務(wù)不斷的發(fā)展艺智,按業(yè)務(wù)域的劃分子系統(tǒng)越來(lái)越多,每個(gè)業(yè)務(wù)系統(tǒng)都需要緩存圾亏、限流十拣、分布式鎖、冪等工具組件志鹃, distributed-tools 組件(暫未開(kāi)源)正式包含了上述分布式系統(tǒng)所需要的基礎(chǔ)功能組件夭问。distributed-tools 組件基于 tair、redis 分別提供了 2 個(gè) springboot starter 曹铃,使用起來(lái)非常簡(jiǎn)單甲喝。以使用緩存使用 redis 為例, application.properties 添加如下配置:
redis.extend.hostName=127.0.0.1redis.extend.port=6379redis.extend.password=pwdcoderedis.extend.timeout=10000redis.idempotent.enabled=true
接下來(lái)的篇幅铛只,重點(diǎn)會(huì)介紹一下緩存埠胖、限流、分布式鎖淳玩、冪等的使用方式直撤。
緩存
緩存的使用可以說(shuō)無(wú)處不在,從應(yīng)用請(qǐng)求的訪問(wèn)路徑來(lái)看蜕着,用戶 user -> 瀏覽器緩存 -> 反向代理緩存-> WEB服務(wù)器緩存 -> 應(yīng)用程序緩存 -> 數(shù)據(jù)庫(kù)緩存等谋竖,幾乎每條鏈路都充斥著緩存的使用,緩存最直白的解釋就是“用空間換時(shí)間”的算法承匣。緩存就是把一些數(shù)據(jù)暫時(shí)存放于某些地方蓖乘,可能是內(nèi)存,也有可能硬盤(pán)韧骗〖问悖總之,目的就是為了避免某些耗時(shí)的操作袍暴。我們常見(jiàn)的耗時(shí)的操作些侍,比如數(shù)據(jù)庫(kù)的查詢隶症、一些數(shù)據(jù)的計(jì)算結(jié)果,或者是為了減輕服務(wù)器的壓力岗宣。其實(shí)減輕壓力也是因查詢或計(jì)算蚂会,雖然短耗時(shí)萌踱,但操作很頻繁各吨,累加起來(lái)也很長(zhǎng),造成嚴(yán)重排隊(duì)等情況痘儡,服務(wù)器抗不住刊咳。distributed-tools 組件提供了一個(gè) CacheEngine 接口措嵌,基于 Tair、Redis 分別有不同的實(shí)現(xiàn)芦缰,具體 CacheEngine 定義如下:
public String get(String key); /** * 獲取指定的key對(duì)應(yīng)的對(duì)象,異常也會(huì)返回null * * @param key * @param clazz * @return */ public <T> T get(String key, Class<T> clz); /** * 存儲(chǔ)緩存數(shù)據(jù),忽略過(guò)期時(shí)間 * * @param key * @param value * @return */ public <T extends Serializable> booleanput(String key, T value); /** * 存儲(chǔ)緩存數(shù)據(jù) * * @param key * @param value * @param expiredTime * @param unit * @return */ public <T extends Serializable> booleanput(String key, T value, int expiredTime, TimeUnit unit); /** * 基于key刪除緩存數(shù)據(jù) * * @param key * @return */ publicbooleaninvalid(String key);
get 方法針對(duì) key 進(jìn)行查詢企巢, put 存儲(chǔ)緩存數(shù)據(jù), invalid 刪除緩存數(shù)據(jù)让蕾。
限流
在分布式系統(tǒng)中浪规,尤其面對(duì)一些秒殺、瞬時(shí)高并發(fā)場(chǎng)景探孝,都需要進(jìn)行一些限流措施笋婿,保證系統(tǒng)的高可用。通常來(lái)說(shuō)限流的目的是通過(guò)對(duì)并發(fā)訪問(wèn)/請(qǐng)求進(jìn)行限速顿颅,或者一個(gè)時(shí)間窗口內(nèi)的的請(qǐng)求進(jìn)行限速來(lái)保護(hù)系統(tǒng)缸濒,一旦達(dá)到限制速率則可以 拒絕服務(wù)(定向到錯(cuò)誤頁(yè)或告知資源沒(méi)有了)、排隊(duì) 或 等待(比如秒殺粱腻、評(píng)論庇配、下單)、降級(jí)(返回托底數(shù)據(jù)或默認(rèn)數(shù)據(jù)绍些,如商品詳情頁(yè)庫(kù)存默認(rèn)有貨)捞慌。常見(jiàn)的一些限流算法包括固定窗口、滑動(dòng)窗口柬批、漏桶啸澡、令牌桶,distributed-tools 組件目前基于計(jì)數(shù)器只實(shí)現(xiàn)了固定窗口算法氮帐,具體使用方式如下:
/** * 指定過(guò)期時(shí)間自增計(jì)數(shù)器嗅虏,默認(rèn)每次+1,非滑動(dòng)窗口 * * @param key 計(jì)數(shù)器自增key * @param expireTime 過(guò)期時(shí)間 * @param unit 時(shí)間單位 * @return */ publiclongincrCount(String key, int expireTime, TimeUnit unit); /** * 指定過(guò)期時(shí)間自增計(jì)數(shù)器,單位時(shí)間內(nèi)超過(guò)最大值rateThreshold返回true上沐,否則返回false * * @param key 限流key * @param rateThreshold 限流閾值 * @param expireTime 固定窗口時(shí)間 * @param unit 時(shí)間單位 * @return */ publicbooleanrateLimit(final String key, finalint rateThreshold, int expireTime, TimeUnit unit);
基于 CacheEngine 的 rateLimit 方法可以實(shí)現(xiàn)限流皮服, expireTime 只能設(shè)定固定窗口時(shí)間,非滑動(dòng)窗口時(shí)間。另外 distributed-tools 組件提供了模板 RateLimitTemplate 可以簡(jiǎn)化限流的易用性冰更,可以直接調(diào)用 RateLimitTemplate 的 execute 方法處理限流問(wèn)題产徊。
/** * @param limitKey 限流KEY * @param resultSupplier 回調(diào)方法 * @param rateThreshold 限流閾值 * @param limitTime 限制時(shí)間段 * @param blockDuration 阻塞時(shí)間段 * @param unit 時(shí)間單位 * @param errCodeEnum 指定限流錯(cuò)誤碼 * @return */ public <T> T execute(String limitKey, Supplier<T> resultSupplier, long rateThreshold, long limitTime, long blockDuration, TimeUnit unit, ErrCodeEnum errCodeEnum){ boolean blocked = tryAcquire(limitKey, rateThreshold, limitTime, blockDuration, unit); if (errCodeEnum != null) { AssertUtils.assertTrue(blocked, errCodeEnum); } else { AssertUtils.assertTrue(blocked, ExceptionEnumType.ACQUIRE_LOCK_FAIL); } return resultSupplier.get(); }
另外 distributed-tools 組件還提供了注解 @RateLimit 的使用方式昂勒,具體注解 RateLimit 定義如下:
@Retention(RetentionPolicy.RUNTIME)@Target(ElementType.METHOD)@Documentedpublic @interface RateLimit { /** * 限流KEY */ String limitKey(); /** * 允許訪問(wèn)的次數(shù)蜀细,默認(rèn)值MAX_VALUE */ longlimitCount()default Long.MAX_VALUE; /** * 時(shí)間段 */ longtimeRange(); /** * 阻塞時(shí)間段 */ longblockDuration(); /** * 時(shí)間單位,默認(rèn)為秒 */ TimeUnit timeUnit()default TimeUnit.SECONDS;}
基于注解的方式限流使用代碼如下:
@RateLimit(limitKey = "#key", limitCount = 5, timeRange = 2, blockDuration = 3, timeUnit = TimeUnit.MINUTES)public String testLimit2(String key){ .......... return key;}
任何方法添加上述注解具備了一定的限流能力(具體方法需要在 spring aop 指定攔截范圍內(nèi))戈盈,如上代碼表示以參數(shù) key 作為限流 key 奠衔,每 2 分鐘請(qǐng)求次數(shù)不超過(guò) 5 次,超過(guò)限制后阻塞 3 分鐘塘娶。
分布式鎖
在 Java 單一進(jìn)程中通過(guò) synchronized 關(guān)鍵字和 ReentrantLock 可重入鎖可以實(shí)現(xiàn)在多線程環(huán)境中控制對(duì)資源的并發(fā)訪問(wèn)归斤,通常本地的加鎖往往不能滿足我們的需要,我們更多的面對(duì)場(chǎng)景是分布式系統(tǒng)跨進(jìn)程的鎖刁岸,簡(jiǎn)稱為分布式鎖脏里。分布式鎖實(shí)現(xiàn)手段通常是將鎖標(biāo)記存在內(nèi)存中,只是該內(nèi)存不是某個(gè)進(jìn)程分配的內(nèi)存而是公共內(nèi)存如 Redis虹曙、Tair 迫横,至于利用數(shù)據(jù)庫(kù)、文件等做鎖與單機(jī)的實(shí)現(xiàn)是一樣的酝碳,只要保證標(biāo)記能互斥就行矾踱。分布式鎖相對(duì)單機(jī)進(jìn)程的鎖之所以復(fù)雜,主要原因是分布式系統(tǒng)需要考慮到網(wǎng)絡(luò)的延時(shí)和不可靠疏哗。 distributed-tools 組件提供的分布式鎖要具備如下特性:
互斥性:同本地鎖一樣具有互斥性呛讲,但是分布式鎖需要保證在不同節(jié)點(diǎn)進(jìn)程的不同線程的互斥。
可重入性:同一個(gè)節(jié)點(diǎn)上的同一個(gè)線程如果獲取了鎖之后那么也可以再次獲取這個(gè)鎖返奉。
鎖超時(shí):和本地鎖一樣支持鎖超時(shí)贝搁,防止死鎖,通過(guò)異步心跳 demon 線程刷新過(guò)期時(shí)間芽偏,防止特殊場(chǎng)景(如 FGC 死鎖超時(shí))下死鎖徘公。
高性能、高可用:加鎖和解鎖需要高性能哮针,同時(shí)也需要保證高可用防止分布式鎖失效关面,可以增加降級(jí)。
支持阻塞和非阻塞:同 ReentrantLock 一樣支持 lock 和 trylock 以及 tryLock ( long timeOut )十厢。
公平鎖和非公平鎖(不支持):公平鎖是按照請(qǐng)求加鎖的順序獲得鎖等太,非公平鎖就相反是無(wú)序的,目前 distributed-tools 組件提供的分布式鎖不支持該特性蛮放。
distributed-tools 組件提供的分布式鎖缩抡,使用起來(lái)非常簡(jiǎn)單,提供了一個(gè)分布式鎖模板:DistributedLockTemplate 包颁,可以直接調(diào)用模板提供的靜態(tài)方法(如下):
/** * 分布式鎖處理模板執(zhí)行器 * * @param lockKey 分布式鎖key * @param resultSupplier 分布式鎖處理回調(diào) * @param waitTime 鎖等待時(shí)間 * @param unit 時(shí)間單位 * @param errCodeEnum 指定特殊錯(cuò)誤碼返回 * @return */ public static <T> T execute(String lockKey, Supplier<T> resultSupplier, long waitTime, TimeUnit unit, ErrCodeEnum errCodeEnum){ AssertUtils.assertTrue(StringUtils.isNotBlank(lockKey), ExceptionEnumType.PARAMETER_ILLEGALL); boolean locked = false; Lock lock = DistributedReentrantLock.newLock(lockKey); try { locked = waitTime > 0 ? lock.tryLock(waitTime, unit) : lock.tryLock(); } catch (InterruptedException e) { throw new RuntimeException(String.format("lock error,lockResource:%s", lockKey), e); } if (errCodeEnum != null) { AssertUtils.assertTrue(locked, errCodeEnum); } else { AssertUtils.assertTrue(locked, ExceptionEnumType.ACQUIRE_LOCK_FAIL); } try { return resultSupplier.get(); } finally { lock.unlock(); } }
冪等
在分布式系統(tǒng)設(shè)計(jì)中冪等性設(shè)計(jì)中十分重要的瞻想,尤其在復(fù)雜的微服務(wù)中一套系統(tǒng)中包含了多個(gè)子系統(tǒng)服務(wù)压真,而一個(gè)子系統(tǒng)服務(wù)往往會(huì)去調(diào)用另一個(gè)服務(wù),而服務(wù)調(diào)用服務(wù)無(wú)非就是使用 RPC 通信或者 restful 蘑险,分布式系統(tǒng)中的網(wǎng)絡(luò)延時(shí)或中斷是避免不了的滴肿,通常會(huì)導(dǎo)致服務(wù)的調(diào)用層觸發(fā)重試。具有這一性質(zhì)的接口在設(shè)計(jì)時(shí)總是秉持這樣的一種理念:調(diào)用接口發(fā)生異常并且重復(fù)嘗試時(shí)佃迄,總是會(huì)造成系統(tǒng)所無(wú)法承受的損失泼差,所以必須阻止這種現(xiàn)象的發(fā)生。冪等通常會(huì)有兩個(gè)維度:
1. 空間維度上的冪等呵俏,即冪等對(duì)象的范圍堆缘,是個(gè)人還是機(jī)構(gòu),是某一次交易還是某種類型的交易普碎。
2. 時(shí)間維度上的冪等吼肥,即冪等的保證時(shí)間,是幾個(gè)小時(shí)麻车、幾天還是永久性的缀皱。在實(shí)際系統(tǒng)中有很多操作,不管操作多少次绪氛,都應(yīng)該產(chǎn)生一樣的效果或返回相同的結(jié)果唆鸡。以下這些應(yīng)用場(chǎng)景也是通常比較常見(jiàn)的應(yīng)用場(chǎng)景:
1. 前端重復(fù)提交請(qǐng)求,且請(qǐng)求數(shù)據(jù)相同時(shí)枣察,后臺(tái)需要返回對(duì)應(yīng)這個(gè)請(qǐng)求的相同結(jié)果争占。
2. 發(fā)起一次支付請(qǐng)求,支付中心應(yīng)該只扣用戶賬戶一次錢(qián)序目,當(dāng)遇到網(wǎng)絡(luò)中斷或系統(tǒng)異常時(shí)臂痕,也應(yīng)該只扣一次錢(qián)。
3. 發(fā)送消息猿涨,同樣內(nèi)容的短信發(fā)給用戶只發(fā)一次握童。
4. 創(chuàng)建業(yè)務(wù)訂單,一次業(yè)務(wù)請(qǐng)求只能創(chuàng)建一個(gè)叛赚,重試請(qǐng)求創(chuàng)建多個(gè)就會(huì)出大問(wèn)題澡绩。
5. 基于 msgId 的消息冪等處理。在正式使用 distributed-tools 組件提供的冪等之前俺附,我們先看下 distributed-tools 冪等組件的設(shè)計(jì)肥卡。
冪等 key 提取能力:獲取唯一冪等 key
冪等 key 的提取支持 2 中注解:IdempotentTxId、IdempotentTxIdGetter事镣,任意方法添加以上 2 注解步鉴,即可提取到相關(guān)冪等 key ,前提條件是需要將 Idempotent 注解添加相關(guān)需要冪等的方法上。
如果單純使用冪等模板進(jìn)行業(yè)務(wù)處理氛琢,需要自己設(shè)置相關(guān)冪等key喊递,且要保證其唯一性。
分布式鎖服務(wù)能力:提供全局加鎖阳似、解鎖的能力
distributed-tools 冪等組件需要使用自身提供的分布式鎖功能骚勘,保證其并發(fā)唯一性, distributed-tools 提供的分布式鎖能夠提供其可靠障般、穩(wěn)定的加鎖调鲸、解鎖能力盛杰。
高性能的寫(xiě)入挽荡、查詢能力:針對(duì)冪等結(jié)果查詢與存儲(chǔ)
distributed-tools 冪等組件提供了基于 tair 、 redis 的存儲(chǔ)實(shí)現(xiàn)即供,同時(shí)支持自定義一級(jí)定拟、二級(jí)存儲(chǔ)通過(guò) spring 依賴注入到 IdempotentService ,建議 distributed-tools 冪等存儲(chǔ)結(jié)果一級(jí)存儲(chǔ) tair mdb 逗嫡,二級(jí)存儲(chǔ)ldb或者 tablestore 青自,一級(jí)存儲(chǔ)保證其高性能,二級(jí)存儲(chǔ)保證其可靠性驱证。
二級(jí)存儲(chǔ)并行查詢會(huì)返回查詢最快的冪等結(jié)果延窜。
二級(jí)存儲(chǔ)并行異步寫(xiě)入,進(jìn)一步提高性能抹锄。高可用的冪等寫(xiě)入逆瑞、查詢能力:****冪等存儲(chǔ)出現(xiàn)異常,不影響業(yè)務(wù)正常流程伙单,增加容錯(cuò)
distributed-tools 冪等組件支持二級(jí)存儲(chǔ)获高,為了保證其高可用,畢竟二級(jí)存儲(chǔ)出現(xiàn)故障的概率太低吻育,不會(huì)導(dǎo)致業(yè)務(wù)上不可用念秧,如果二級(jí)存儲(chǔ)同時(shí)出現(xiàn)故障,業(yè)務(wù)上做了一定的容錯(cuò)布疼,針對(duì)不確定性的異常采取重試策略摊趾,會(huì)執(zhí)行具體冪等方法。一級(jí)存儲(chǔ)與二級(jí)存儲(chǔ)的寫(xiě)入與查詢處理進(jìn)行隔離游两,任何一級(jí)存儲(chǔ)的異常不會(huì)影響整體業(yè)務(wù)執(zhí)行砾层。在了解了 distributed-tools 組件冪等之后器罐,接下來(lái)我們來(lái)看下如何去使用冪等組件,首先了解下 common-api 提供的冪等注解,具體冪等注解使用方式如下:
冪等攔截器獲取冪等 ID 的優(yōu)先級(jí):
- 首先判斷 Idempotent 的 spelKey 的屬性是否為空,如果不為空會(huì)根據(jù) spelKey 定義的 spring 表達(dá)式生成冪等 ID 铸董。
- 其次判斷參數(shù)是否包含 IdempotentTxId 注解,如果有 IdempotentTxId 粟害,會(huì)直接獲取參數(shù)值生成冪等 ID 。
- 再次通過(guò)反射獲取參數(shù)對(duì)象屬性是否包含 IdempotentTxId 注解悲幅,如果對(duì)象屬性包含 IdempotentTxId 注解會(huì)獲取該參數(shù)對(duì)象屬性生成冪等 ID 。
- 最后以上三種情況仍未獲取到冪等 ID 汰具,會(huì)進(jìn)一步通過(guò)反射獲取參數(shù)對(duì)象的 Method 是否定義 IdempotentTxIdGetter 注解,如果包含該注解則通過(guò)反射生成冪等 ID 留荔。
代碼使用示例:
@Idempotent(spelKey = "#request.requestId", firstLevelExpireDate = 7,secondLevelExpireDate = 30) publicvoidexecute(BizFlowRequest request){ .................. }
如上述代碼表示從 request 獲取 requestId 作為冪等 key 聚蝶,一級(jí)存儲(chǔ)有效期 7 天,二級(jí)存儲(chǔ)有效期 30 天碘勉。distributed-tools 除了可以使用冪等注解外巷挥,冪等組件還提供了一個(gè)通用冪等模板 IdempotentTemplate ,使用冪等模板的前提必須設(shè)置 tair.idempotent.enabled=true或者redis.idempotent.enabled=true 验靡,默認(rèn)為 false 倍宾,同時(shí)需要指定冪等結(jié)果一級(jí)存儲(chǔ),冪等結(jié)果存儲(chǔ)為可選項(xiàng)配置晴叨。具體使用冪等模板 IdempotentTemplate 的方法如下:
/** * 冪等模板處理器 * * @param request 冪等Request信息 * @param executeSupplier 冪等處理回調(diào)function * @param resultPreprocessConsumer 冪等結(jié)果回調(diào)function 可以對(duì)結(jié)果做些預(yù)處理 * @param ifResultNeedIdempotence 除了根據(jù)異常還需要根據(jù)結(jié)果判定是否需要冪等性的場(chǎng)景可以提供此參數(shù) * @return */ public R execute(IdempotentRequest<P> request, Supplier<R> executeSupplier, Consumer<IdempotentResult<P, R>> resultPreprocessConsumer, Predicate<R> ifResultNeedIdempotence){ ........ }
request:
冪等參數(shù) IdempotentRequest 組裝凿宾,可以設(shè)置冪等參數(shù)和冪等唯一 ID 。executeSupplier:
具體冪等的方法邏輯兼蕊,比如針對(duì)支付初厚、下單接口,可以通過(guò) JDK8 函數(shù)式接口 Supplier Callback 進(jìn)行處理孙技。resultBiConsumer:
冪等返回結(jié)果的處理产禾,該參數(shù)可以為空,如果為空采取默認(rèn)的處理牵啦,根據(jù)冪等結(jié)果亚情,如果成功、不可重試的異常錯(cuò)誤碼哈雏,直接返回結(jié)果楞件,如果失敗可重試異常錯(cuò)誤碼衫生,會(huì)進(jìn)行重試處理。如果該參數(shù)值不為空土浸,可以針對(duì)返回冪等結(jié)果進(jìn)行特殊邏輯處理設(shè)置 ResultStatus(ResultStatus 包含三種狀態(tài)包括成功罪针、失敗可重試、失敗不可重試)黄伊。