高并發(fā)傅事、多線程一直是Java編程中的難點(diǎn),也是面試題中的要點(diǎn)峡扩。Java開(kāi)發(fā)者也一直在嘗試使用多線程來(lái)解決應(yīng)用服務(wù)器的并發(fā)問(wèn)題蹭越。但是多線程并不容易,為此一個(gè)新的技術(shù)出現(xiàn)了教届,這就是虛擬線程响鹃。
傳統(tǒng)多線程的痛點(diǎn)
但是編寫(xiě)多線程代碼是非常不容易的驾霜,難以控制的執(zhí)行順序,共享變量的線程安全性茴迁,異常的可觀察性等等都是多線程編程的難點(diǎn)寄悯。
如果每個(gè)請(qǐng)求在請(qǐng)求的持續(xù)時(shí)間內(nèi)都在一個(gè)線程中處理,那么為了提高應(yīng)用程序的吞吐量堕义,線程的數(shù)量必須隨著吞吐量的增長(zhǎng)而增長(zhǎng)猜旬。不幸的是線程是稀缺資源,創(chuàng)建一個(gè)線程的代價(jià)是昂貴的倦卖,即使引入了池化技術(shù)也無(wú)法降低新線程的創(chuàng)建成本洒擦,而且 JDK 當(dāng)前的線程實(shí)現(xiàn)將應(yīng)用程序的吞吐量限制在遠(yuǎn)低于硬件可以支持的水平。
為此很多開(kāi)發(fā)人員轉(zhuǎn)向了異步編程怕膛,例如CompletableFuture
或者現(xiàn)在正熱的反應(yīng)式框架熟嫩。但是這些技術(shù)要么擺脫不了“回調(diào)地獄”,要么缺乏可觀測(cè)性褐捻。
解決這些痛點(diǎn)掸茅、增強(qiáng)Java平臺(tái)的和諧,實(shí)現(xiàn)每個(gè)請(qǐng)求使用獨(dú)立線程(thread-per-request style)這種風(fēng)格成為必要之舉柠逞。能否實(shí)現(xiàn)一種“成本低廉”的虛擬線程來(lái)映射到系統(tǒng)線程以減少對(duì)系統(tǒng)線程的直接操作呢昧狮?思路應(yīng)該是沒(méi)問(wèn)題的!于是Java社區(qū)發(fā)起了關(guān)于虛擬線程的JEP 425提案板壮。
虛擬線程
虛擬線程(virtual threads)應(yīng)該非常廉價(jià)而且可以無(wú)需擔(dān)心系統(tǒng)硬件資源被大量創(chuàng)建逗鸣,并且不應(yīng)該被池化。應(yīng)該為每個(gè)應(yīng)用程序任務(wù)創(chuàng)建一個(gè)新的虛擬線程绰精。因此撒璧,大多數(shù)虛擬線程將是短暫的并且具有淺層調(diào)用堆棧,只執(zhí)行單個(gè)任務(wù) HTTP 客戶端調(diào)用或單個(gè) JDBC 查詢笨使。與之對(duì)應(yīng)的平臺(tái)線程( Platform Threads卿樱,也就是現(xiàn)在傳統(tǒng)的JVM線程 )是重量級(jí)且昂貴的,因此通常必須被池化硫椰。它們往往壽命長(zhǎng)繁调,有很深的調(diào)用堆棧,并且在許多任務(wù)之間共享最爬。
總而言之,虛擬線程保留了與 Java 平臺(tái)的設(shè)計(jì)相協(xié)調(diào)的门岔、可靠的獨(dú)立請(qǐng)求線程(thread-per-request style)爱致,同時(shí)優(yōu)化了硬件的利用。使用虛擬線程不需要學(xué)習(xí)新概念寒随,甚至需要改掉現(xiàn)在操作多線程的習(xí)慣糠悯,使用更加容易上手的API帮坚、兼容以前的多線程設(shè)計(jì)、并且絲毫不會(huì)影響代碼的拓展性互艾。
平臺(tái)線程和虛擬線程的不同
為了更好理解這一個(gè)設(shè)計(jì)试和,草案對(duì)這兩種線程進(jìn)行了比較。
現(xiàn)在的線程
現(xiàn)在每個(gè)java.lang.Thread
都是一個(gè)平臺(tái)線程纫普,平臺(tái)線程在底層操作系統(tǒng)線程上運(yùn)行 Java 代碼阅悍,并在代碼的整個(gè)生命周期內(nèi)捕獲操作系統(tǒng)線程。平臺(tái)線程數(shù)受限于 OS 線程數(shù)昨稼。
平臺(tái)線程并不會(huì)因?yàn)榧尤胩摂M線程而退出歷史舞臺(tái)节视。
未來(lái)的虛擬線程
虛擬線程是由 JDK 而不是操作系統(tǒng)提供的線程的輕量級(jí)實(shí)現(xiàn)。它們是用戶模式線程的一種形式假栓,在其他多線程語(yǔ)言中已經(jīng)成功(比如Golang中的協(xié)程和Erlang中的進(jìn)程)寻行。 虛擬線程采用 M:N 調(diào)度,其中大量 (M) 虛擬線程被調(diào)度為在較少數(shù)量 (N) 的 OS 線程上運(yùn)行匾荆。 JDK 的虛擬線程調(diào)度程序是一種ForkJoinPool
工作竊取的機(jī)制拌蜘,以 FIFO 模式運(yùn)行。
我們可以很隨意地創(chuàng)建10000個(gè)虛擬線程:
// 預(yù)覽代碼
try (var executor = Executors.newVirtualThreadPerTaskExecutor()) {
IntStream.range(0, 10_000).forEach(i -> {
executor.submit(() -> {
Thread.sleep(Duration.ofSeconds(1));
return i;
});
});
}
無(wú)需擔(dān)心硬件資源是否扛得住牙丽,反過(guò)來(lái)如果你使用Executors.newCachedThreadPool()
創(chuàng)建10000個(gè)平臺(tái)線程简卧,在大多數(shù)操作系統(tǒng)上很容易因資源不足而崩潰。
為吞吐量而設(shè)計(jì)
但是這里依然要說(shuō)明一點(diǎn)剩岳,虛擬線程并是為了提升執(zhí)行速度而設(shè)計(jì)贞滨。它并不比平臺(tái)線程速度快,它們的存在是為了提供規(guī)模(更高的吞吐量)拍棕,而不是速度(更低的延遲)晓铆。它們的數(shù)量可能比平臺(tái)線程多得多,因此根據(jù)利特爾定律绰播,它們可以實(shí)現(xiàn)更高吞吐量所需的更高并發(fā)性骄噪。
換句話說(shuō),虛擬線程可以顯著提高應(yīng)用程序吞吐量
并發(fā)任務(wù)的數(shù)量很高(超過(guò)幾千個(gè))蠢箩,并且
工作負(fù)載不受 CPU 限制链蕊,因?yàn)樵谶@種情況下,擁有比處理器內(nèi)核多得多的線程并不能提高吞吐量谬泌。
虛擬線程有助于提高傳統(tǒng)服務(wù)器應(yīng)用程序的吞吐量滔韵,正是因?yàn)榇祟悜?yīng)用程序包含大量并發(fā)任務(wù),這些任務(wù)花費(fèi)大量的時(shí)間等待掌实。
增強(qiáng)可觀測(cè)性
編寫(xiě)清晰的代碼并不是全部陪蜻。對(duì)正在運(yùn)行的程序狀態(tài)的清晰表示對(duì)于故障排除、維護(hù)和優(yōu)化也很重要贱鼻,JDK 長(zhǎng)期以來(lái)一直提供調(diào)試宴卖、分析和監(jiān)視線程的機(jī)制滋将。 在虛擬線程中也會(huì)增強(qiáng)代碼的可觀測(cè)性,讓開(kāi)發(fā)人員更好地調(diào)試代碼症昏。
新的線程API
為此增加了新的線程API設(shè)計(jì)随闽,目前放出的部分如下:
Thread.Builder
線程構(gòu)建器。ThreadFactory
能批量構(gòu)建相同特性的線程工廠肝谭。Thread.ofVirtual()
創(chuàng)建一個(gè)虛擬線程掘宪。Thread.ofPlatform()
創(chuàng)建一個(gè)平臺(tái)線程。Thread.startVirtualThread(Runnable)
一種創(chuàng)建然后啟動(dòng)虛擬線程的便捷方式分苇。Thread.isVirtual()
測(cè)試線程是否是虛擬線程添诉。
還有很多就不一一演示了,有興趣的自行去看JEP425医寿。
總結(jié)
JEP425還有很多的細(xì)節(jié)栏赴,基于我個(gè)人理解能力的不足只能解讀這么多了。協(xié)程在Java社區(qū)已經(jīng)呼喚了很久了靖秩,現(xiàn)在終于有了實(shí)質(zhì)性的動(dòng)作须眷,這是一個(gè)令人振奮的好消息。不過(guò)這個(gè)功能涉及的東西還是很多的沟突,包括平臺(tái)線程的兼容性花颗、對(duì)ThreadLocal
的一些影響、對(duì)JUC的影響惠拭±┤埃可能需要多次預(yù)覽才能最終落地。胖哥可能趕不上那個(gè)時(shí)候了职辅,不過(guò)很多年輕的同學(xué)應(yīng)該能夠趕上棒呛。
關(guān)注公眾號(hào):碼農(nóng)小胖哥,獲取更多資訊