1 背景:
后端基礎(chǔ)架構(gòu),在業(yè)務(wù)層上面通常還有一個(gè)是應(yīng)用層MIMP(業(yè)務(wù)網(wǎng)關(guān))它呀,用來(lái)做用戶權(quán)限校驗(yàn)(cookie 校驗(yàn)),C端接口數(shù)據(jù)聚合等棒厘,由于所有C端業(yè)務(wù)都要經(jīng)過(guò)應(yīng)用層纵穿,所以應(yīng)用層是個(gè)典型的IO密集型的場(chǎng)景。隨著業(yè)務(wù)發(fā)展奢人,流量越來(lái)越大谓媒,對(duì)應(yīng)用層容器節(jié)點(diǎn)要求越來(lái)越高,從4核8G 8節(jié)點(diǎn)擴(kuò)展到 8核 16G 32節(jié)點(diǎn)何乎,MIMP公共轉(zhuǎn)發(fā)(業(yè)務(wù)網(wǎng)關(guān))是引用http同步調(diào)用句惯,性能較差,需要改造優(yōu)化宪赶,把轉(zhuǎn)發(fā)以及調(diào)用異步化宗弯,從而引入了 WebClient脯燃。
應(yīng)用層發(fā)展階段:
在應(yīng)用層調(diào)用微服務(wù)API搂妻,且聚合數(shù)據(jù)后返回給C端用戶;
業(yè)務(wù)越來(lái)越大越多辕棚,每個(gè)開(kāi)發(fā)都在應(yīng)用層寫接口導(dǎo)致應(yīng)用層特別冗余欲主,所以特意提供一個(gè)公共轉(zhuǎn)發(fā)接口邓厕,直接轉(zhuǎn)發(fā)C端接口,所有業(yè)務(wù)處理和數(shù)據(jù)聚合都在業(yè)務(wù)微服務(wù)層中處理扁瓢;
業(yè)務(wù)流量越來(lái)越大详恼,在應(yīng)用層通過(guò)使用同步阻塞式 I/O 模型(Servlet API)去請(qǐng)求微服務(wù),出現(xiàn)線程阻塞引几,在應(yīng)用層耗費(fèi)時(shí)間越來(lái)越多昧互,所以應(yīng)用層通用轉(zhuǎn)發(fā)接口改造成使用WebClient,去處理大量的并發(fā)請(qǐng)求伟桅;
本篇文章中涉及到的Reactor 和 Netty相關(guān)知識(shí)敞掘,請(qǐng)參考 Netty理論三:Netty線程模型 Netty系列
2 WebClient 介紹以及使用
WebClient是WebFlux框架中重要的Http請(qǐng)求框架。同時(shí)也是Spring官方的Http請(qǐng)求工具楣铁,相當(dāng)于SpringMVC框架中的RestTemplate玖雁。 在日常使用中,WebClient通常是使用WebClient.Builder來(lái)完成構(gòu)建的盖腕。為了方便日常使用赫冬,筆者將日常使用到的場(chǎng)景封裝了一個(gè)工具類,見(jiàn)文章最后的附錄溃列。
2.1 傳統(tǒng)阻塞IO模型 VS 響應(yīng)式IO模型
- 傳統(tǒng)阻塞IO模型 RestTemplate
Spring3.0引入了RestTemplate劲厌,SpringMVC或Struct等框架都是基于Servlet的,其底層IO模型是阻塞IO模型听隐。采用阻塞IO模式獲取輸入數(shù)據(jù)脊僚。每個(gè)連接都需要獨(dú)立的線程,完成數(shù)據(jù)輸入遵绰、業(yè)務(wù)處理辽幌、返回。傳統(tǒng)阻塞IO模型的問(wèn)題是椿访,當(dāng)并發(fā)數(shù)很大時(shí)乌企,就要?jiǎng)?chuàng)建大量線程,占用很大的系統(tǒng)資源成玫。連接創(chuàng)建后加酵,如果當(dāng)前線程暫時(shí)沒(méi)有數(shù)據(jù)可讀,該線程會(huì)阻塞在read操作哭当,造成線程資源浪費(fèi)猪腕。
- 響應(yīng)式IO模型 WebClient
Spring5中引入了WebClient作為非阻塞式Reactive Http客戶端。Spring社區(qū)為了解決SpringMVC的阻塞模型在高并發(fā)場(chǎng)景下的性能瓶頸钦勘,推出了Spring WebFlux陋葡,WebFlux底層實(shí)現(xiàn)是久經(jīng)考驗(yàn)的Netty非阻塞IO通信框架。其實(shí)WebClient處理單個(gè)HTTP請(qǐng)求的響應(yīng)時(shí)長(zhǎng)并不比RestTemplate更快彻采,但是它處理并發(fā)的能力更強(qiáng)腐缤,非阻塞的方式可以使用較少的線程以及硬件資源來(lái)處理更多的并發(fā)捌归。
所以響應(yīng)式非阻塞IO模型的核心意義在于,提高了單位時(shí)間內(nèi)有限資源下的服務(wù)請(qǐng)求的并發(fā)處理能力岭粤,而不是縮短了單個(gè)服務(wù)請(qǐng)求的響應(yīng)時(shí)長(zhǎng)惜索。
2.2 RestTemplate vs WebClient
與RestTemplate相比,WebClient的優(yōu)勢(shì)
非阻塞響應(yīng)式IO剃浇,單位時(shí)間內(nèi)有限資源下支持更高的并發(fā)量巾兆。
支持使用Java8 Lambda表達(dá)式函數(shù)。
支持同步虎囚、異步臼寄、Stream流式傳輸。
使用webClient在等待遠(yuǎn)程響應(yīng)的同時(shí)不會(huì)阻塞本地正在執(zhí)行的線程 溜宽;本地線程處理完一個(gè)請(qǐng)求緊接著可以處理下一個(gè)吉拳,能夠提高系統(tǒng)的吞吐量;而restTemplate 這種方式是阻塞的适揉,會(huì)一直占用當(dāng)前線程資源留攒,直到http返回響應(yīng)。如果等待的請(qǐng)求發(fā)生了堆積嫉嘀,應(yīng)用程序?qū)?chuàng)建大量線程炼邀,直至耗盡線程池所有可用線程,甚至出現(xiàn)OOM剪侮。另外頻繁的CPU上下文切換拭宁,也會(huì)導(dǎo)致性能下降。
但是作為上述兩種方式的調(diào)用方(消費(fèi)者)而言瓣俯,其最終獲得http響應(yīng)結(jié)果的耗時(shí)并未減少杰标。
使用webclient替代restTemplate的好處是可以異步等待http響應(yīng),使得線程不需要阻塞彩匕;單位時(shí)間內(nèi)有限資源下支持更高的并發(fā)量腔剂。
2.3 WebClient的線程模型
如上當(dāng)調(diào)用線程使用webclient發(fā)起請(qǐng)求后,內(nèi)部會(huì)先創(chuàng)建一個(gè)Mono響應(yīng)對(duì)象驼仪,然后切換到IO線程具體發(fā)起網(wǎng)絡(luò)請(qǐng)求掸犬。
調(diào)用線程獲取到Mono對(duì)象后,一般會(huì)訂閱绪爸,也就是設(shè)置一個(gè)Consumer用來(lái)具體處理服務(wù)端響應(yīng)結(jié)果湾碎。
-
服務(wù)端接受請(qǐng)求后,進(jìn)行處理奠货,最后把結(jié)果寫回客戶端介褥,客戶端接受響應(yīng)后,使用IO線程把結(jié)果設(shè)置到Mono對(duì)象,從而觸發(fā)設(shè)置的Consumer回調(diào)函數(shù)的執(zhí)行呻顽。
WebClient默認(rèn)內(nèi)部使用Netty實(shí)現(xiàn)http客戶端調(diào)用雹顺,這里IO線程其實(shí)是netty的IO線程丹墨,而netty客戶端的IO線程內(nèi)是不建議做耗時(shí)操作的廊遍,因?yàn)镮O線程是用來(lái)輪訓(xùn)注冊(cè)到select上的channel的數(shù)據(jù)的,如果阻塞了贩挣,那么其他channel的讀寫請(qǐng)求就會(huì)得不到及時(shí)處理喉前。所以如果consumer內(nèi)邏輯比較耗時(shí),建議從IO線程切換到其他線程來(lái)做王财。
那么如何切換那卵迂?可以使用publishOn把IO線程切換到自定義線程池進(jìn)行處理:
resp.publishOn(Schedulers.elastic())//切換到Schedulers.elastic()對(duì)應(yīng)的線程池進(jìn)行處理
.onErrorMap(throwable -> {
System.out.println("onErrorMap:" + throwable.getLocalizedMessage());
return throwable;
})
.subscribe(s -> System.out.println("result:" + Thread.currentThread().getName() + " " + s));
也就是說(shuō),WebClient調(diào)用微服務(wù)返回結(jié)果后绒净,最好是直接返回給C端用戶见咒,如果一定要對(duì)返回的結(jié)果做數(shù)據(jù)耗時(shí)操作,那么就需要線程切換到自定義線程池進(jìn)行處理挂疆,避免Boss Group線程池阻塞(參考 Netty理論三:Netty線程模型)改览。
3 Spring WebFlux
Spring WebFlux 是Spring 5 推出的,是一個(gè)異步非阻塞式的 Web 框架缤言,底層也是基于Netty實(shí)現(xiàn)的宝当,所以,它特別適合應(yīng)用在 IO 密集型的服務(wù)中胆萧,比如微服務(wù)網(wǎng)關(guān)這樣的應(yīng)用中庆揩。
IO 密集型包括:磁盤IO密集型, 網(wǎng)絡(luò)IO密集型,微服務(wù)網(wǎng)關(guān)就屬于網(wǎng)絡(luò) IO 密集型跌穗,使用異步非阻塞式編程模型订晌,能夠顯著地提升網(wǎng)關(guān)對(duì)下游服務(wù)轉(zhuǎn)發(fā)的吞吐量。
3.1 Spring Mvc vs Spring WebFlux
Spring MVC 構(gòu)建于 Servlet API 之上蚌吸,使用的是同步阻塞式 I/O 模型腾仅,每一個(gè)請(qǐng)求對(duì)應(yīng)一個(gè)線程去處理。 Spring WebFlux 是一個(gè)異步非阻塞式的 Web 框架套利,它能夠充分利用多核 CPU 的硬件資源去處理大量的并發(fā)請(qǐng)求推励。
相同點(diǎn):
都可以使用 Spring MVC 注解,如
@Controller
, 方便我們?cè)趦蓚€(gè) Web 框架中自由轉(zhuǎn)換肉迫;均可以使用 Tomcat, Jetty, Undertow Servlet 容器(Servlet 3.1+)验辞;
注意點(diǎn):
Spring MVC 因?yàn)槭鞘褂玫耐阶枞剑奖汩_(kāi)發(fā)人員編寫功能代碼喊衫,Debug 測(cè)試等跌造,一般來(lái)說(shuō),如果 Spring MVC 能夠滿足的場(chǎng)景,就盡量不要用 WebFlux;
WebFlux 默認(rèn)情況下使用 Netty 作為服務(wù)器壳贪,(啟動(dòng)時(shí)輸出中包含
Netty started on port(s): 8080
語(yǔ)句時(shí))WebFlux 不支持 MySql
WebFlux 不是 Spring MVC 的替代方案陵珍!,雖然 WebFlux 也可以被運(yùn)行在 Servlet 容器上(需是 Servlet 3.1+ 以上的容器)违施,但是 WebFlux 主要還是應(yīng)用在異步非阻塞編程模型互纯,而 Spring MVC 是同步阻塞的正林,如果你目前在 Spring MVC 框架中大量使用非同步方案蟆技,那么,WebFlux 才是你想要的衣形,否則辣往,使用 Spring MVC 才是你的首選兔院。
WebFlux 相比于SpringMvc雖然可以極大的提升吞吐量,但是也不是沒(méi)有副作用站削,像學(xué)習(xí)曲線高坊萝、調(diào)試難以及不支持jdbc等數(shù)據(jù)庫(kù),而NoSql數(shù)據(jù)庫(kù)相對(duì)支持較為完善许起,而且在微服務(wù)架構(gòu)中十偶,Spring MVC 和 WebFlux 可以混合使用,比如已經(jīng)提到的街氢,對(duì)于那些 IO 密集型服務(wù)(如網(wǎng)關(guān))扯键,我們就可以使用 WebFlux 來(lái)實(shí)現(xiàn)。開(kāi)頭背景中珊肃,我們就是這樣混用改造的應(yīng)用層的荣刑。
3.2 WebFlux 的優(yōu)勢(shì)&提升性能
WebFlux 內(nèi)部使用的是響應(yīng)式編程(Reactive Programming),以 Reactor 庫(kù)為基礎(chǔ), 基于異步和事件驅(qū)動(dòng)伦乔,可以讓我們?cè)诓粩U(kuò)充硬件資源的前提下厉亏,提升系統(tǒng)的吞吐量和伸縮性。 WebFlux 并不能使接口的響應(yīng)時(shí)間縮短烈和,它僅僅能夠提升吞吐量和伸縮性爱只。
Spring WebFlux底層是通過(guò)Netty通信的,關(guān)于Netty相關(guān)知識(shí)招刹,見(jiàn) Netty系列
4 spring-cloud-Gateway vs Nginx
spring-cloud-Gateway: 微服務(wù)網(wǎng)關(guān)恬试,實(shí)現(xiàn)微服務(wù)的統(tǒng)一路由,統(tǒng)一鑒權(quán)疯暑,跨域训柴,限流等功能;
Nginx :高性能HTTP和反向代理的web服務(wù)器妇拯,處理高并發(fā)能力是十分強(qiáng)大幻馁,最高能支持5w個(gè)并發(fā)連接數(shù)洗鸵;
有了Nginx 做網(wǎng)關(guān),為啥還要用到spring-cloud-Gateway呢仗嗦?
首先這兩種網(wǎng)關(guān)的定義不一樣
-
業(yè)務(wù)網(wǎng)關(guān):spring-cloud-Gateway的定義是針對(duì)每一個(gè)業(yè)務(wù)微服務(wù)來(lái)得膘滨,屬于業(yè)務(wù)網(wǎng)關(guān);
對(duì)于具體的后端業(yè)務(wù)應(yīng)用或者是服務(wù)和業(yè)務(wù)有一定關(guān)聯(lián)性的策略網(wǎng)關(guān)就是下圖左邊的架構(gòu)模型——業(yè)務(wù)網(wǎng)關(guān)稀拐。 業(yè)務(wù)網(wǎng)關(guān)針對(duì)具體的業(yè)務(wù)需要提供特定的流控策略火邓、緩存策略、鑒權(quán)認(rèn)證策略等等钩蚊。
-
流量網(wǎng)關(guān):Nginx針對(duì)的是用戶訪問(wèn)的總?cè)肟诠鼻蹋簿褪乔岸隧?yè)面的容器蹈矮,屬于流量網(wǎng)關(guān)砰逻;
與業(yè)務(wù)網(wǎng)關(guān)相反,定義全局性的泛鸟、跟具體的后端業(yè)務(wù)應(yīng)用和服務(wù)完全無(wú)關(guān)的策略網(wǎng)關(guān)就是下圖右邊所示的架構(gòu)模型——流量網(wǎng)關(guān)蝠咆。流量網(wǎng)關(guān)通常只專注于全局的Api管理策略,比如全局流量監(jiān)控北滥、日志記錄刚操、全局限流、黑白名單控制再芋、接入請(qǐng)求到業(yè)務(wù)系統(tǒng)的負(fù)載均衡等菊霜,有點(diǎn)類似防火墻。Kong 就是典型的流量網(wǎng)關(guān)济赎。公司內(nèi)通常會(huì)提供統(tǒng)一的公共網(wǎng)關(guān)鉴逞;
這里需要補(bǔ)充一點(diǎn)的是,業(yè)務(wù)網(wǎng)關(guān)一般部署在流量網(wǎng)關(guān)之后司训、業(yè)務(wù)系統(tǒng)之前构捡,比流量網(wǎng)關(guān)更靠近業(yè)務(wù)系統(tǒng)。通常API網(wǎng)指的是業(yè)務(wù)網(wǎng)關(guān)壳猜。 有時(shí)候我們也會(huì)模糊流量網(wǎng)關(guān)和業(yè)務(wù)網(wǎng)關(guān)勾徽,讓一個(gè)網(wǎng)關(guān)承擔(dān)所有的工作,所以這兩者之間并沒(méi)有嚴(yán)格的界線。
Nginx與spring-cloud-Gateway的區(qū)別:
Nginx 是用戶到前端工程的網(wǎng)關(guān)统扳,對(duì)外網(wǎng)關(guān)喘帚;是用C語(yǔ)言寫的,自定義擴(kuò)展的話咒钟,要么寫C要么寫lua吹由;
spring-cloud-Gateway是微服務(wù)網(wǎng)關(guān),是前端工程到后臺(tái)服務(wù)之間的一個(gè)對(duì)內(nèi)網(wǎng)關(guān)盯腌;是java語(yǔ)言的一個(gè)框架溉知,可以在框架上進(jìn)行代碼的擴(kuò)展與控制,例如:安全控制,統(tǒng)一異常處理级乍,XXS,SQL注入等舌劳;權(quán)限控制,黑白名單玫荣,性能監(jiān)控甚淡,日志打印等;
spring-cloud-Gateway 的主要功能有捅厂,路由贯卦,斷言,過(guò)濾器焙贷,利用它的這些特性撵割,可以做流控;辙芍、
Nginx 做網(wǎng)關(guān)啡彬,更多的是做總流量入口,反向代理故硅,負(fù)載均衡等庶灿,還可以用來(lái)做web服務(wù)器。
比如吃衅,在架構(gòu)中往踢,部署在阿里云上的訪問(wèn)接入層SLB。內(nèi)部是一個(gè)LVS+Nginx實(shí)現(xiàn)的四層+七層負(fù)載均衡(作用是 反向代理 負(fù)載均衡)徘层;
而在應(yīng)用網(wǎng)關(guān)中使用SpringGateway/Zuul做統(tǒng)一鑒權(quán)峻呕;
spring-cloud-Gateway架構(gòu)圖:
spring-cloud-Gateway請(qǐng)求處理模型
SpringCloud Gateway是基于WebFlux框架實(shí)現(xiàn)的,而WebFlux框架底層則使用了高性能的Reactor模式通信框架Netty惑灵。
可以看到NettyServer的Boss Group線程池內(nèi)的線程循環(huán)接收這個(gè)請(qǐng)求山上,然后把完成了TCP三次握手的連接channel交給Worker Group中的某一個(gè)事件循環(huán)線程來(lái)進(jìn)行處理(該事件處理線程會(huì)調(diào)用對(duì)應(yīng)的controller進(jìn)行處理)。
所以WebFlux的handler執(zhí)行是使用Netty的IO線程進(jìn)行執(zhí)行的英支,所以需要注意如果handler的執(zhí)行比較耗時(shí)佩憾,會(huì)把IO線程耗盡導(dǎo)致不能再處理其他請(qǐng)求,可以通過(guò)Reactor的publishOn操作符切換到其他線程池中執(zhí)行干花。
5 spring-cloud-Gateway vs Zuul
Zuul:
使用的是阻塞式的 API妄帘,不支持長(zhǎng)連接,比如 websockets池凄。
底層是servlet抡驼,Zuul處理的是http請(qǐng)求
沒(méi)有提供異步支持,流控等均由hystrix支持肿仑。
依賴包spring-cloud-starter-netflix-zuul致盟。
spring-cloud-Gateway:
Spring Boot和Spring Webflux提供的Netty底層環(huán)境碎税,不能和傳統(tǒng)的Servlet容器一起使用,也不能打包成一個(gè)WAR包馏锡。
依賴spring-boot-starter-webflux和/ spring-cloud-starter-gateway
提供了異步支持雷蹂,提供了抽象負(fù)載均衡,提供了抽象流控杯道,并默認(rèn)實(shí)現(xiàn)了RedisRateLimiter匪煌。
5.1 相同點(diǎn):
底層都是servlet;
兩者均是web網(wǎng)關(guān)党巾,處理的是http請(qǐng)求
5.2 不同點(diǎn):
1萎庭、內(nèi)部實(shí)現(xiàn):
spring-cloud-Gateway對(duì)比zuul多依賴了spring-webflux,在spring的支持下齿拂,功能更強(qiáng)大驳规,內(nèi)部實(shí)現(xiàn)了限流、負(fù)載均衡等创肥,擴(kuò)展性也更強(qiáng)达舒,但同時(shí)也限制了僅適合于Spring Cloud套件 zuul則可以擴(kuò)展至其他微服務(wù)框架中值朋,其內(nèi)部沒(méi)有實(shí)現(xiàn)限流叹侄、負(fù)載均衡等。 2昨登、是否支持異步 zuul僅支持同步 spring-cloud-Gateway支持異步趾代。理論上spring-cloud-Gateway則更適合于提高系統(tǒng)吞吐量(但不一定能有更好的性能),最終性能還需要通過(guò)嚴(yán)密的壓測(cè)來(lái)決定 3丰辣、框架設(shè)計(jì)的角度 spring-cloud-Gateway具有更好的擴(kuò)展性撒强,并且其已經(jīng)發(fā)布了2.0.0的RELESE版本,穩(wěn)定性也是非常好的 4笙什、性能 WebFlux 模塊的名稱是 spring-webflux飘哨,名稱中的 Flux 來(lái)源于 Reactor 中的類 Flux。Spring webflux 有一個(gè)全新的非堵塞的函數(shù)式 Reactive Web 框架琐凭,可以用來(lái)構(gòu)建異步的芽隆、非堵塞的、事件驅(qū)動(dòng)的服務(wù)统屈,在伸縮性方面表現(xiàn)非常好胚吁。使用非阻塞API。 Websockets得到支持愁憔,并且由于它與Spring緊密集成腕扶,所以將會(huì)是一個(gè)更好的 開(kāi)發(fā) 體驗(yàn)。 Zuul 1.x吨掌,是一個(gè)基于阻塞io的API Gateway半抱。Zuul已經(jīng)發(fā)布了Zuul 2.x脓恕,基于Netty,也是非阻塞的窿侈,支持長(zhǎng)連接进肯,但Spring Cloud暫時(shí)還沒(méi)有整合計(jì)劃。
5.3 總結(jié)
總的來(lái)說(shuō)棉磨,在微服務(wù)架構(gòu)江掩,如果使用了Spring Cloud生態(tài)的基礎(chǔ)組件,則Spring Cloud Gateway相比而言更加具備優(yōu)勢(shì)乘瓤,單從流式編程+支持異步上就足以讓開(kāi)發(fā)者選擇它了环形。 對(duì)于小型微服務(wù)架構(gòu)或是復(fù)雜架構(gòu)(不僅包括微服務(wù)應(yīng)用還有其他非Spring Cloud服務(wù)節(jié)點(diǎn)),zuul也是一個(gè)不錯(cuò)的選擇衙傀。
網(wǎng)關(guān)的更多知識(shí)見(jiàn) 微服務(wù)架構(gòu)下網(wǎng)關(guān)的技術(shù)選型
附錄:
import com.fasterxml.jackson.core.type.TypeReference;
import com.fasterxml.jackson.databind.ObjectMapper;
import io.netty.channel.ChannelOption;
import io.netty.handler.timeout.ReadTimeoutHandler;
import org.springframework.http.MediaType;
import org.springframework.http.client.reactive.ClientHttpConnector;
import org.springframework.http.client.reactive.ReactorClientHttpConnector;
import org.springframework.util.LinkedMultiValueMap;
import org.springframework.util.MultiValueMap;
import org.springframework.web.reactive.function.BodyInserters;
import org.springframework.web.reactive.function.client.ClientResponse;
import org.springframework.web.reactive.function.client.WebClient;
import reactor.core.publisher.Mono;
import reactor.netty.http.client.HttpClient;
import java.time.Duration;
import java.util.Map;
import java.util.Objects;
import java.util.concurrent.TimeUnit;
/**
* 網(wǎng)絡(luò)請(qǐng)求工具類
*
* @author admin
*/
public class WebClientHelper {
private static final Integer DEFAULT_CONNECT_TIMEOUT = 3000;
private static final Integer DEFAULT_REQUEST_TIMEOUT = 10000;
/**
* get請(qǐng)求解析成字符串
*
* @param url url
* @return java.lang.String
* @author admin admin
* @since 2019/10/30
*/
public static ClientResponse getResponse(String url) {
Mono<ClientResponse> resp = createWebClientWithConnectAndReadTimeOuts()
.get()
.uri(url)
.exchange();
return resp.block();
}
/**
* get請(qǐng)求抬吟,解析成對(duì)象
*
* @param url url
* @param tClass class
* @param headers 請(qǐng)求頭
* @return T
* @author admin
* @since 2019/10/30
*/
public static <T> T get(String url, Class<T> tClass, Map<String, String> headers) {
Mono<T> resp = createWebClientWithConnectAndReadTimeOuts()
.get()
.uri(url)
.headers(t -> t.setAll(headers))
.retrieve()
.bodyToMono(tClass).timeout(Duration.ofMillis(DEFAULT_REQUEST_TIMEOUT));
return resp.block();
}
/**
* get請(qǐng)求,解析成對(duì)象
*
* @param url url
* @param headers 請(qǐng)求頭
* @return T
* @author admin
* @since 2019/10/30
*/
public static String get(String url, Map<String, String> headers) {
Mono<String> resp = createWebClientWithConnectAndReadTimeOuts()
.get()
.uri(url)
.headers(t -> t.setAll(headers))
.retrieve()
.bodyToMono(String.class).timeout(Duration.ofMillis(DEFAULT_REQUEST_TIMEOUT));
return resp.block();
}
/**
* get請(qǐng)求统抬,解析成對(duì)象
*
* @param scheme 協(xié)議 http/https
* @param host host
* @param obj query params
* @param headers 請(qǐng)求頭
* @return T
* @author admin
* @since 2019/10/30
*/
public static String get(String scheme, String host, String path, Object obj, Map<String, String> headers) {
Mono<String> resp = createWebClientWithConnectAndReadTimeOuts()
.get()
.uri(uriBuilder -> uriBuilder.scheme(scheme).host(host).path(path).queryParams(getRequestParamMapByObj(obj)).build())
.headers(t -> t.setAll(headers))
.retrieve()
.bodyToMono(String.class).timeout(Duration.ofMillis(DEFAULT_REQUEST_TIMEOUT));
return resp.block();
}
/**
* get請(qǐng)求火本,解析成對(duì)象
*
* @param url url
* @param tClass class
* @return T
* @author admin
* @since 2019/10/30
*/
public static <T> T get(String url, Object obj, Class<T> tClass) {
Mono<T> resp = createWebClientWithConnectAndReadTimeOuts()
.get()
.uri(uriBuilder -> uriBuilder.path(url).queryParams(getRequestParamMapByObj(obj)).build())
.retrieve()
.bodyToMono(tClass).timeout(Duration.ofMillis(DEFAULT_REQUEST_TIMEOUT));
return resp.block();
}
/**
* get請(qǐng)求,解析成對(duì)象
*
* @param url url
* @param tClass class
* @return T
* @author admin
* @since 2019/10/30
*/
public static <T> T get(String url, Class<T> tClass) {
Mono<T> resp = createWebClientWithConnectAndReadTimeOuts()
.get()
.uri(url)
.retrieve()
.bodyToMono(tClass).timeout(Duration.ofMillis(DEFAULT_REQUEST_TIMEOUT));
return resp.block();
}
/**
* get請(qǐng)求解析成字符串
*
* @param url url
* @return java.lang.String
* @author admin
* @since 2019/10/30
*/
public static String get(String url) {
Mono<String> resp = createWebClientWithConnectAndReadTimeOuts()
.get()
.uri(url)
.retrieve()
.bodyToMono(String.class).timeout(Duration.ofMillis(DEFAULT_REQUEST_TIMEOUT));
return resp.block();
}
/**
* post表單請(qǐng)求返回對(duì)象
*
* @param url url
* @param params 請(qǐng)求參數(shù)
* @param tClass 返回對(duì)象
* @return T
* @author admin
* @since 2019/10/30
*/
public static <T> T post(String url, Map<String, String> params, Class<T> tClass) {
MultiValueMap<String, String> formData = getRequestParamMap(params);
Mono<T> resp = createWebClientWithConnectAndReadTimeOuts().post()
.uri(url)
.contentType(MediaType.APPLICATION_FORM_URLENCODED)
.body(BodyInserters.fromFormData(formData))
.retrieve().bodyToMono(tClass).timeout(Duration.ofMillis(DEFAULT_REQUEST_TIMEOUT));
return resp.block();
}
/**
* post表單請(qǐng)求返回字符串
*
* @param url url
* @param params 請(qǐng)求參數(shù)
* @return java.lang.String
* @author admin
* @since 2019/10/30
*/
public static String post(String url, Map<String, String> params) {
MultiValueMap<String, String> formData = getRequestParamMap(params);
Mono<String> resp = createWebClientWithConnectAndReadTimeOuts().post()
.uri(url)
.contentType(MediaType.APPLICATION_FORM_URLENCODED)
.body(BodyInserters.fromFormData(formData))
.retrieve().bodyToMono(String.class).timeout(Duration.ofMillis(DEFAULT_REQUEST_TIMEOUT));
return resp.block();
}
/**
* post json請(qǐng)求結(jié)果解析成對(duì)象
*
* @param url url
* @param jsonBody 請(qǐng)求body聪建,可以是對(duì)象或者是map
* @param tClass 解析對(duì)象
* @return T
* @author admin
* @since 2019/10/30
*/
public static <T> T postJson(String url, Object jsonBody, Class<T> tClass) {
Mono<T> resp = createWebClientWithConnectAndReadTimeOuts().post()
.uri(url)
.contentType(MediaType.APPLICATION_JSON_UTF8)
.body(Mono.just(jsonBody), Object.class)
.retrieve().bodyToMono(tClass).timeout(Duration.ofMillis(DEFAULT_REQUEST_TIMEOUT));
return resp.block();
}
/**
* post json請(qǐng)求結(jié)果解析成對(duì)象
*
* @param url url
* @param jsonBody 請(qǐng)求body钙畔,可以是對(duì)象或者是map
* @param tClass 解析對(duì)象
* @return T
* @author admin
* @since 2019/10/30
*/
public static <T> T postJson(String url, Map<String, String> headers, Object jsonBody, Class<T> tClass) {
Mono<T> resp = createWebClientWithConnectAndReadTimeOuts().post()
.uri(url)
.contentType(MediaType.APPLICATION_JSON_UTF8)
.headers(t -> t.setAll(headers))
.body(Mono.just(jsonBody), Object.class)
.retrieve().bodyToMono(tClass).timeout(Duration.ofMillis(DEFAULT_REQUEST_TIMEOUT));
return resp.block();
}
/**
* post json請(qǐng)求結(jié)果解析成字符串
*
* @param url url
* @param jsonBody 請(qǐng)求body,可以是對(duì)象或者是map
* @return java.lang.String
* @author admin
* @since 2019/10/30
*/
public static String postJson(String url, Object jsonBody) {
Mono<String> resp = createWebClientWithConnectAndReadTimeOuts().post()
.uri(url)
.contentType(MediaType.APPLICATION_JSON_UTF8)
.body(Mono.just(jsonBody), Object.class)
.retrieve().bodyToMono(String.class).timeout(Duration.ofMillis(DEFAULT_REQUEST_TIMEOUT));
return resp.block();
}
/**
* post json請(qǐng)求結(jié)果解析成字符串
*
* @param url url
* @param jsonBody 請(qǐng)求body金麸,可以是對(duì)象或者是map
* @return java.lang.String
* @author admin
* @since 2019/10/30
*/
public static String postJson(String url, Map<String, String> headers, Object jsonBody) {
Mono<String> resp = createWebClientWithConnectAndReadTimeOuts().post()
.uri(url)
.contentType(MediaType.APPLICATION_JSON_UTF8)
.headers(t -> t.setAll(headers))
.body(Mono.just(jsonBody), Object.class)
.retrieve().bodyToMono(String.class).timeout(Duration.ofMillis(DEFAULT_REQUEST_TIMEOUT));
return resp.block();
}
public static <T> T postRawJson(String url, String jsonBody, Class<T> tClass) {
Mono<T> resp = createWebClientWithConnectAndReadTimeOuts().post()
.uri(url)
.contentType(MediaType.APPLICATION_JSON_UTF8)
.body(BodyInserters.fromObject(jsonBody))
.retrieve().bodyToMono(tClass).timeout(Duration.ofMillis(DEFAULT_REQUEST_TIMEOUT));
return resp.block();
}
public static String postRawJson(String url, String jsonBody) {
Mono<String> resp = createWebClientWithConnectAndReadTimeOuts().post()
.uri(url)
.contentType(MediaType.APPLICATION_JSON_UTF8)
.body(BodyInserters.fromObject(jsonBody))
.retrieve().bodyToMono(String.class).timeout(Duration.ofMillis(DEFAULT_REQUEST_TIMEOUT));
return resp.block();
}
private static WebClient createWebClientWithConnectAndReadTimeOuts() {
// create reactor netty HTTP client
HttpClient httpClient = HttpClient.create()
.tcpConfiguration(tcpClient -> {
tcpClient = tcpClient.option(ChannelOption.CONNECT_TIMEOUT_MILLIS, DEFAULT_CONNECT_TIMEOUT);
tcpClient = tcpClient.doOnConnected(conn -> conn
.addHandlerLast(new ReadTimeoutHandler(DEFAULT_REQUEST_TIMEOUT, TimeUnit.MILLISECONDS)));
return tcpClient;
});
// create a client http connector using above http client
ClientHttpConnector connector = new ReactorClientHttpConnector(httpClient);
// use this configured http connector to build the web client
return WebClient.builder().clientConnector(connector).build();
}
private static MultiValueMap<String, String> getRequestParamMap(Map<String, String> params) {
MultiValueMap<String, String> queryParams = new LinkedMultiValueMap<>();
for (Map.Entry<String, String> entry : params.entrySet()) {
queryParams.add(entry.getKey(), entry.getValue());
}
return queryParams;
}
private static MultiValueMap<String, String> getRequestParamMapByObj(Object obj) {
ObjectMapper objectMapper = new ObjectMapper();
Map<String, Object> map = objectMapper.convertValue(obj, new TypeReference<Map<String, Object>>() {
});
MultiValueMap<String, String> queryParams = new LinkedMultiValueMap<>();
for (Map.Entry<String, Object> entry : map.entrySet()) {
if (Objects.isNull(entry.getValue())) {
continue;
}
queryParams.add(entry.getKey(), String.valueOf(entry.getValue()));
}
return queryParams;
}
}