來源：京東零售技術(shù)(id:jd-sys)
概述1 背景
京東作為電商平臺，近幾年用戶禽车、業(yè)務(wù)持續(xù)增長寇漫，訪問量持續(xù)上升，隨著這些業(yè)務(wù)的發(fā)展殉摔，API網(wǎng)關(guān)應(yīng)運而生州胳。
API網(wǎng)關(guān)，就是為了解放客戶端與服務(wù)端而存在的逸月。對于客戶端栓撞，使開放給客戶端的接口標(biāo)準(zhǔn)統(tǒng)一，以降低客戶端的接入成本碗硬；對于服務(wù)端瓤湘，使服務(wù)端無需關(guān)注接口暴露在公網(wǎng)面臨的問題而著眼于業(yè)務(wù)的實現(xiàn)，來提升開發(fā)效率恩尾。
在剛剛過去的全民狂歡購物節(jié)弛说，API網(wǎng)關(guān)如何做才能高效的處理近千萬的并發(fā)請求是本文的重點。
2 API網(wǎng)關(guān)介紹
API網(wǎng)關(guān)翰意，作為客戶端與服務(wù)端的紐帶木人，核心任務(wù)是將客戶端請求轉(zhuǎn)發(fā)到后端服務(wù)。但是冀偶，作為所有流量請求的入口 , 面臨的很重要的一個問題就是高并發(fā)虎囚，因為高并發(fā)的需要，要求網(wǎng)關(guān)處理請求必須高效蔫磨；其次是安全防護淘讥，安全主要是指對網(wǎng)關(guān)對后端服務(wù)的一個保護；再者就是完善的數(shù)據(jù)統(tǒng)計及監(jiān)控報警機制堤如；當(dāng)然蒲列，為了方便我們內(nèi)部用戶接入窒朋，多協(xié)議適配的支持、灰度發(fā)布上線也是必備功能蝗岖。
API網(wǎng)關(guān)特征：
1）高性能：在高吞吐量下保證低延遲侥猩。
2）安全穩(wěn)定：身份認(rèn)證、精細(xì)化流量控制抵赢、大數(shù)據(jù)實時分析等多種手段保障服務(wù)質(zhì)量欺劳。
3）平臺化：進行各項數(shù)據(jù)監(jiān)控，提供數(shù)據(jù)分析铅鲤、監(jiān)控告警划提、故障定位等服務(wù)。
4）灰度：灰度發(fā)布邢享，支持按設(shè)備鹏往、PIN、自定義比例方式在不影響正常用戶的情況下骇塘，保障后端服務(wù)平穩(wěn)過渡伊履。
5）方便快捷：支持http、jsf服務(wù)快捷接入款违，mock功能加快協(xié)同開發(fā)唐瀑。
技術(shù)實踐
API網(wǎng)關(guān)服務(wù)于原生客戶端、Web插爹、小程序哄辣，不限于具體的業(yè)務(wù)。其主要架構(gòu)圖如下所示：
主要分3層：
- 第1是VIP層递惋，主要是接收客戶端http柔滔、https請求，并將請求轉(zhuǎn)發(fā)到網(wǎng)關(guān)萍虽；
- 第2是網(wǎng)關(guān)層睛廊，對請求進行合法性校驗并轉(zhuǎn)發(fā)；
- 第3層就是后端業(yè)務(wù)API杉编，這些業(yè)務(wù)方超全，就是我們服務(wù)的主要對象。
1高并發(fā)實現(xiàn)
網(wǎng)關(guān)高并發(fā)實踐主要利用異步化處理技術(shù)邓馒，將請求由同步變?yōu)楫惒剿恢欤肗IO多路復(fù)用，達(dá)到請求接收最大化光酣。
首先看下圖同步處理過程：
采用同步處理疏遏，線程的釋放就受限于后端服務(wù)響應(yīng)的快慢。當(dāng)響應(yīng)過慢時，線程池就容易出現(xiàn)耗盡現(xiàn)象财异，并且資源利用率上不去倘零，吞吐量很低，或者說此時的大量請求都會被服務(wù)器拒絕戳寸。
由此可以看出呈驶，同步處理使資源利用率得不到充分的利用，大量請求被拒絕同時又影響了用戶體驗疫鹊。如果想提高并發(fā)只能通過橫向加機器袖瞻，這樣造成機器資源大量浪費的現(xiàn)象。如果是網(wǎng)關(guān)這么處理拆吆，那么這種現(xiàn)象體現(xiàn)的將更明顯聋迎。
為了解決同步引起的問題，采用異步锈拨，如下圖所示：
通過實現(xiàn)異步化處理砌庄，線程可以在開啟異步后直接釋放羹唠，當(dāng)前請求的響應(yīng)會被延后奕枢，當(dāng)后端服務(wù)有響應(yīng)后，再將響應(yīng)寫回給客戶端佩微。這樣就算是有后端服務(wù)響應(yīng)很慢缝彬，因為線程已被釋放了，可以繼續(xù)接收新的請求哺眯，達(dá)到服務(wù)資源使用的最大化谷浅。
2安全防護
精細(xì)化流控：
作為所有業(yè)務(wù)方的第一道防線，網(wǎng)關(guān)承載著海量流量的訪問奶卓，以及隨時可能爆發(fā)的惡意流量攻擊的壓力一疯。
很典型的，每年雙十一或是618都會有刷子惡意刷后端服務(wù)接口夺姑，如果網(wǎng)關(guān)不做處理直接將流量透傳到后端服務(wù)墩邀，后端服務(wù)很大可能會被瞬時流量沖垮，至少會增大后端服務(wù)響應(yīng)延時及浪費公司大量資源來處理攻擊盏浙。
那么眉睹，進行流量控制就是必不可少的。網(wǎng)關(guān)提供秒級的流量控制废膘，可以對單個接口按地域竹海、風(fēng)控等級等維度進行流控配置。這樣流量只到了網(wǎng)關(guān)層面丐黄，就不會透傳到后端服務(wù)了斋配。
流控主要是采用令牌桶算法實現(xiàn)，策略主要有排隊或熔斷，具體的策略根據(jù)不同的端艰争，選擇合適的流控動作十偶。
授權(quán)及簽名認(rèn)證：
API暴露在公網(wǎng)，肯定會存在被刷的風(fēng)險园细，網(wǎng)關(guān)要做的就是盡可能降低這種風(fēng)險惦积。就像通過制定法律來盡可能減少犯罪一樣，通過訪問權(quán)限控制猛频、簽名認(rèn)證狮崩、跨域校驗等來盡可能的降低API接口被刷的風(fēng)險。
授權(quán)：只有通過API負(fù)責(zé)人授權(quán)的接口鹿寻，客戶端才有權(quán)限訪問 睦柴。如果未授權(quán)，在網(wǎng)關(guān)處攔截毡熏，響應(yīng)給客戶端沒有訪問權(quán)限坦敌；
簽名認(rèn)證：按規(guī)則將請求參數(shù)通過HMAC-SHA256算法運算生成簽名值，對客戶端計算的簽名值與網(wǎng)關(guān)計算的簽名值進行匹配痢法，匹配的請求繼續(xù)向下流轉(zhuǎn)狱窘，否則直接被攔截。
跨域效驗：
對于WEB端應(yīng)用财搁，調(diào)用網(wǎng)關(guān)屬于跨域請求蘸炸。這類請求，如果不進行校驗尖奔，會產(chǎn)生跨域攻擊搭儒。所以需要獲取到客戶端請求來源，對客戶端請求來源進行認(rèn)證提茁，只有合法的請求來源才被允許訪問后端服務(wù)淹禾。對于小程序應(yīng)用，也會校驗小程序真實性茴扁。
3灰度發(fā)布
設(shè)想這樣一個場景：有一個核心業(yè)務(wù)铃岔，做了比較大的改動，又或者是項目重構(gòu)丹弱，開發(fā)完成德撬，同時測試完成，要上線了躲胳。但是蜓洪，問題也來了：因為改動很大，業(yè)務(wù)很重要坯苹，測試所拿機型設(shè)備有限隆檀，擔(dān)心直接全部上線會影響測試未覆蓋的線上用戶。那么，能不能先有10%的流量請求到新服務(wù)恐仑，看下用戶使用情況泉坐，再決定是否全部上線呢。
為了滿足這種需求裳仆，網(wǎng)關(guān)提供按設(shè)備號腕让、用戶標(biāo)識的定點灰度測試，同時支持按比例進行的灰度上線歧斟。
用戶請求到網(wǎng)關(guān)纯丸，如果開啟灰度模式，就獲取到灰度地址静袖，將請求轉(zhuǎn)發(fā)到特定的服務(wù)觉鼻。
自動化運營
在高舉可持續(xù)發(fā)展旗幟的時代下，如果一個產(chǎn)品僅僅做到功能齊全是遠(yuǎn)遠(yuǎn)不夠的队橙。只有做到可持續(xù)發(fā)展坠陈，實現(xiàn)自動化運營的產(chǎn)品才真正是個好產(chǎn)品。API網(wǎng)關(guān)平臺化意味著N條產(chǎn)品線捐康，一個網(wǎng)關(guān)仇矾，通過實現(xiàn)自動化運營，解放生產(chǎn)力吹由，打造統(tǒng)一化平臺若未，提供可持續(xù)化產(chǎn)品朱嘴，擁抱API經(jīng)濟倾鲫，實現(xiàn)API變現(xiàn)。
API網(wǎng)關(guān)控制臺首頁
1獨立部署與快速擴展
API網(wǎng)關(guān)統(tǒng)一管理著發(fā)布方對外暴露的API服務(wù)萍嬉，各個服務(wù)可以獨立開發(fā)部署乌昔。針對后端服務(wù)的發(fā)布與下線，發(fā)布方可通過API網(wǎng)關(guān)提供界面化管理控制平臺壤追，實現(xiàn)流程化管理磕道，線上審批通過后，實時生效行冰，無需手動控制溺蕉，實現(xiàn)自動化運營。
同時對于后端服務(wù)的各項配置悼做，如API權(quán)限管理疯特、流量控制等，API網(wǎng)關(guān)進行自動化管理肛走，動態(tài)配置漓雅，動態(tài)加載，保證在無需重啟服務(wù)的情況下即可進行配置更改操作。
要實現(xiàn)自動化運營邻吞，除了對API服務(wù)管理做到獨立部署组题、快速擴展外，對于API的調(diào)用方也實現(xiàn)自助API開通抱冷，授權(quán)訪問API服務(wù)崔列。
2數(shù)據(jù)分析與監(jiān)控告警
由于API網(wǎng)關(guān)處在一個內(nèi)部系統(tǒng)與外部環(huán)境的分界點處，所有外部請求都經(jīng)過API網(wǎng)關(guān)進行調(diào)度和過濾旺遮，每時每刻都有大量請求通過API網(wǎng)關(guān)進入內(nèi)部服務(wù)峻呕。因此可以在API網(wǎng)關(guān)層進行請求接入監(jiān)控，監(jiān)控各個接口的訪問請求并進行收集趣效，以便相應(yīng)指標(biāo)的統(tǒng)計分析瘦癌。
在API網(wǎng)關(guān)界面化管理控制平臺中，對收集統(tǒng)計到的監(jiān)控數(shù)據(jù)跷敬，如API接口調(diào)用量讯私、響應(yīng)時間等信息，提供了可視化的API實時智能數(shù)據(jù)分析與監(jiān)控告警功能西傀，訂閱API異常報警信息斤寇，以便實時監(jiān)控后端服務(wù)運行情況。
后端接口監(jiān)控數(shù)據(jù)圖
3線上環(huán)境故障定位
當(dāng)發(fā)生線上故障時拥褂，API網(wǎng)關(guān)提供一系列的故障現(xiàn)場還原措施進行故障的定位與排查娘锁，通過日志實時分析、異常流量實時探測饺鹃、監(jiān)控告警等技術(shù)莫秆，快速拿到故障快照、還原故障現(xiàn)場以及迅速定位問題原因悔详。
后端接口調(diào)試界面圖總結(jié)
作為系統(tǒng)的唯一入口镊屎，API網(wǎng)關(guān)的地位是至關(guān)重要的。API網(wǎng)關(guān)位于技術(shù)中臺的核心要塞茄螃，符合技術(shù)中臺戰(zhàn)略發(fā)展方向缝驳，做到了產(chǎn)品組件化、需求結(jié)構(gòu)化归苍、數(shù)據(jù)配置化用狱、業(yè)務(wù)可視化：
產(chǎn)品組件化：具有足夠的靈活性和擴展性，支持提供特定場景特定需求拼弃。
需求結(jié)構(gòu)化：根據(jù)業(yè)務(wù)能力夏伊、業(yè)務(wù)規(guī)則完成需求結(jié)構(gòu)化分解，降低溝通成本肴敛。
數(shù)據(jù)配置化：在線配置業(yè)務(wù)署海，快速發(fā)布上線吗购。
業(yè)務(wù)可視化：細(xì)粒度劃分業(yè)務(wù)規(guī)則，多維度展示業(yè)務(wù)監(jiān)控數(shù)據(jù)砸狞。
對于基于微服務(wù)架構(gòu)實現(xiàn)的后端服務(wù)而言捻勉，接入一個性能高效、安全穩(wěn)定的API網(wǎng)關(guān)刀森，享受其帶來的身份認(rèn)證踱启、路由請求、協(xié)議轉(zhuǎn)換等便利研底，更加專注于自身業(yè)務(wù)邏輯的開發(fā)埠偿，是有必要的。利用API網(wǎng)關(guān)對各個服務(wù)API進行統(tǒng)一的管理和監(jiān)控榜晦，解決客戶端與后端服務(wù)交互不便的問題冠蒋，具有十分重要的意義。
