在什么情況下使用線程池素标?
1.單個任務處理的時間比較短
2.將需處理的任務的數(shù)量大
使用線程池的好處:
1.減少在創(chuàng)建和銷毀線程上所花的時間以及系統(tǒng)資源的開銷
2.如不使用線程池妆档,有可能造成系統(tǒng)創(chuàng)建大量線程而導致消耗完系統(tǒng)內(nèi)存以及”過度切換”。
線程池工作原理:
為什么要用線程池春弥?
諸如 Web 服務器呛哟、數(shù)據(jù)庫服務器、文件服務器或郵件服務器之類的許多服務器應用程序都面向處理來自某些遠程來源的大量短小的任務匿沛。請求以某種方式到達服務器扫责,這種方式可能是通過網(wǎng)絡協(xié)議(例如 HTTP、FTP 或 POP)逃呼、通過 JMS 隊列或者可能通過輪詢數(shù)據(jù)庫鳖孤。不管請求如何到達,服務器應用程序中經(jīng)常出現(xiàn)的情況是:單個任務處理的時間很短而請求的數(shù)目卻是巨大的抡笼。
構(gòu)建服務器應用程序的一個過于簡單的模型應該是:每當一個請求到達就創(chuàng)建一個新線程淌铐,然后在新線程中為請求服務。實際上蔫缸,對于原型開發(fā)這種方法工作得很好腿准,但如果試圖部署以這種方式運行的服務器應用程序,那么這種方法的嚴重不足就很明顯拾碌。每個請求對應一個線程(thread-per-request)方法的不足之一是:為每個請求創(chuàng)建一個新線程的開銷很大吐葱;為每個請求創(chuàng)建新線程的服務器在創(chuàng)建和銷毀線程上花費的時間和消耗的系統(tǒng)資源要比花在處理實際的用戶請求的時間和資源更多。
除了創(chuàng)建和銷毀線程的開銷之外校翔,活動的線程也消耗系統(tǒng)資源弟跑。在一個 JVM 里創(chuàng)建太多的線程可能會導致系統(tǒng)由于過度消耗內(nèi)存而用完內(nèi)存或“切換過度”。為了防止資源不足防症,服務器應用程序需要一些辦法來限制任何給定時刻處理的請求數(shù)目孟辑。
線程池為線程生命周期開銷問題和資源不足問題提供了解決方案哎甲。通過對多個任務重用線程,線程創(chuàng)建的開銷被分攤到了多個任務上饲嗽。其好處是炭玫,因為在請求到達時線程已經(jīng)存在,所以無意中也消除了線程創(chuàng)建所帶來的延遲貌虾。這樣吞加,就可以立即為請求服務,使應用程序響應更快尽狠。而且衔憨,通過適當?shù)卣{(diào)整線程池中的線程數(shù)目,也就是當請求的數(shù)目超過某個閾值時袄膏,就強制其它任何新到的請求一直等待践图,直到獲得一個線程來處理為止,從而可以防止資源不足沉馆。
線程池的替代方案
線程池遠不是服務器應用程序內(nèi)使用多線程的唯一方法码党。如同上面所提到的,有時悍及,為每個新任務生成一個新線程是十分明智的。然而接癌,如果任務創(chuàng)建過于頻繁而任務的平均處理時間過短心赶,那么為每個任務生成一個新線程將會導致性能問題。
另一個常見的線程模型是為某一類型的任務分配一個后臺線程與任務隊列缺猛。AWT 和 Swing 就使用這個模型缨叫,在這個模型中有一個 GUI 事件線程,導致用戶界面發(fā)生變化的所有工作都必須在該線程中執(zhí)行荔燎。然而耻姥,由于只有一個 AWT 線程,因此要在 AWT 線程中執(zhí)行任務可能要花費相當長時間才能完成有咨,這是不可取的琐簇。因此,Swing 應用程序經(jīng)常需要額外的工作線程座享,用于運行時間很長的婉商、同 UI 有關的任務。
每個任務對應一個線程方法和單個后臺線程(single-background-thread)方法在某些情形下都工作得非常理想渣叛。每個任務一個線程方法在只有少量運行時間很長的任務時工作得十分好丈秩。而只要調(diào)度可預見性不是很重要,則單個后臺線程方法就工作得十分好淳衙,如低優(yōu)先級后臺任務就是這種情況蘑秽。然而饺著,大多數(shù)服務器應用程序都是面向處理大量的短期任務或子任務,因此往往希望具有一種能夠以低開銷有效地處理這些任務的機制以及一些資源管理和定時可預見性的措施肠牲。線程池提供了這些優(yōu)點幼衰。
工作隊列
就線程池的實際實現(xiàn)方式而言,術(shù)語“線程池”有些使人誤解埂材,因為線程池“明顯的”實現(xiàn)在大多數(shù)情形下并不一定產(chǎn)生我們希望的結(jié)果塑顺。術(shù)語“線程池”先于 Java 平臺出現(xiàn),因此它可能是較少面向?qū)ο蠓椒ǖ漠a(chǎn)物俏险。然而严拒,該術(shù)語仍繼續(xù)廣泛應用著。
雖然我們可以輕易地實現(xiàn)一個線程池類竖独,其中客戶機類等待一個可用線程裤唠、將任務傳遞給該線程以便執(zhí)行、然后在任務完成時將線程歸還給池莹痢,但這種方法卻存在幾個潛在的負面影響种蘸。例如在池為空時,會發(fā)生什么呢竞膳?試圖向池線程傳遞任務的調(diào)用者都會發(fā)現(xiàn)池為空航瞭,在調(diào)用者等待一個可用的池線程時,它的線程將阻塞坦辟。我們之所以要使用后臺線程的原因之一常常是為了防止正在提交的線程被阻塞刊侯。完全堵住調(diào)用者,如在線程池的“明顯的”實現(xiàn)的情況锉走,可以杜絕我們試圖解決的問題的發(fā)生滨彻。
我們通常想要的是同一組固定的工作線程相結(jié)合的工作隊列,它使用 wait() 和 notify() 來通知等待線程新的工作已經(jīng)到達了挪蹭。該工作隊列通常被實現(xiàn)成具有相關監(jiān)視器對象的某種鏈表亭饵。清單 1 顯示了簡單的合用工作隊列的示例。盡管 Thread API 沒有對使用 Runnable 接口強加特殊要求梁厉,但使用 Runnable 對象隊列的這種模式是調(diào)度程序和工作隊列的公共約定辜羊。
清單 1. 具有線程池的工作隊列
import java.util.LinkedList;
public class WorkQueue
{
private final int nThreads;
private final PoolWorker[] threads;
private final LinkedList queue;
public WorkQueue(int nThreads) {
this.nThreads = nThreads;
queue = new LinkedList();
threads = new PoolWorker[nThreads];
for (int i = 0; i < nThreads; i++) {
threads[i] = new PoolWorker();
threads[i].start();
}
}
public void execute(Runnable r) {
synchronized (queue) {
queue.addLast(r);
queue.notify();
}
}
private class PoolWorker extends Thread {
public void run() {
Runnable r;
while (true) {
synchronized (queue) {
while (queue.isEmpty()) {
try {
queue.wait();
} catch (InterruptedException ignored) {
}
}
r = (Runnable) queue.removeFirst();
}
// If we don't catch RuntimeException,
// the pool could leak threads
try {
r.run();
} catch (RuntimeException e) {
// You might want to log something here
}
}
}
}
}
您可能已經(jīng)注意到了清單 1 中的實現(xiàn)使用的是 notify() 而不是 notifyAll() 。大多數(shù)專家建議使用 notifyAll() 而不是 notify() 词顾,而且理由很充分:使用 notify() 具有難以捉摸的風險只冻,只有在某些特定條件下使用該方法才是合適的。另一方面计技,如果使用得當喜德, notify() 具有比 notifyAll() 更可取的性能特征;特別是垮媒, notify() 引起的環(huán)境切換要少得多舍悯,這一點在服務器應用程序中是很重要的航棱。
清單 1 中的示例工作隊列滿足了安全使用 notify() 的需求。因此萌衬,請繼續(xù)饮醇,在您的程序中使用它,但在其它情形下使用 notify() 時請格外小心秕豫。
使用線程池的風險
雖然線程池是構(gòu)建多線程應用程序的強大機制朴艰,但使用它并不是沒有風險的。用線程池構(gòu)建的應用程序容易遭受任何其它多線程應用程序容易遭受的所有并發(fā)風險混移,諸如同步錯誤和死鎖祠墅,它還容易遭受特定于線程池的少數(shù)其它風險,諸如與池有關的死鎖歌径、資源不足和線程泄漏毁嗦。
死鎖
任何多線程應用程序都有死鎖風險。當一組進程或線程中的每一個都在等待一個只有該組中另一個進程才能引起的事件時回铛,我們就說這組進程或線程 死鎖了狗准。死鎖的最簡單情形是:線程 A 持有對象 X 的獨占鎖,并且在等待對象 Y 的鎖茵肃,而線程 B 持有對象 Y 的獨占鎖腔长,卻在等待對象 X 的鎖。除非有某種方法來打破對鎖的等待(Java 鎖定不支持這種方法)验残,否則死鎖的線程將永遠等下去捞附。
雖然任何多線程程序中都有死鎖的風險,但線程池卻引入了另一種死鎖可能胚膊,在那種情況下故俐,所有池線程都在執(zhí)行已阻塞的等待隊列中另一任務的執(zhí)行結(jié)果的任務想鹰,但這一任務卻因為沒有未被占用的線程而不能運行紊婉。當線程池被用來實現(xiàn)涉及許多交互對象的模擬,被模擬的對象可以相互發(fā)送查詢辑舷,這些查詢接下來作為排隊的任務執(zhí)行喻犁,查詢對象又同步等待著響應時,會發(fā)生這種情況何缓。
資源不足
線程池的一個優(yōu)點在于:相對于其它替代調(diào)度機制(有些我們已經(jīng)討論過)而言肢础,它們通常執(zhí)行得很好。但只有恰當?shù)卣{(diào)整了線程池大小時才是這樣的碌廓。線程消耗包括內(nèi)存和其它系統(tǒng)資源在內(nèi)的大量資源传轰。除了 Thread 對象所需的內(nèi)存之外,每個線程都需要兩個可能很大的執(zhí)行調(diào)用堆棧谷婆。除此以外慨蛙,JVM 可能會為每個 Java 線程創(chuàng)建一個本機線程辽聊,這些本機線程將消耗額外的系統(tǒng)資源。最后期贫,雖然線程之間切換的調(diào)度開銷很小跟匆,但如果有很多線程,環(huán)境切換也可能嚴重地影響程序的性能通砍。
如果線程池太大玛臂,那么被那些線程消耗的資源可能嚴重地影響系統(tǒng)性能。在線程之間進行切換將會浪費時間封孙,而且使用超出比您實際需要的線程可能會引起資源匱乏問題迹冤,因為池線程正在消耗一些資源,而這些資源可能會被其它任務更有效地利用敛瓷。除了線程自身所使用的資源以外叁巨,服務請求時所做的工作可能需要其它資源,例如 JDBC 連接呐籽、套接字或文件锋勺。這些也都是有限資源,有太多的并發(fā)請求也可能引起失效狡蝶,例如不能分配 JDBC 連接庶橱。
并發(fā)錯誤
線程池和其它排隊機制依靠使用 wait() 和 notify() 方法,這兩個方法都難于使用贪惹。如果編碼不正確苏章,那么可能丟失通知,導致線程保持空閑狀態(tài)奏瞬,盡管隊列中有工作要處理枫绅。使用這些方法時,必須格外小心硼端;即便是專家也可能在它們上面出錯并淋。而最好使用現(xiàn)有的、已經(jīng)知道能工作的實現(xiàn)珍昨,例如在下面的 無須編寫您自己的池中討論的 util.concurrent 包县耽。
線程泄漏
各種類型的線程池中一個嚴重的風險是線程泄漏,當從池中除去一個線程以執(zhí)行一項任務镣典,而在任務完成后該線程卻沒有返回池時兔毙,會發(fā)生這種情況。發(fā)生線程泄漏的一種情形出現(xiàn)在任務拋出一個 RuntimeException 或一個 Error 時兄春。如果池類沒有捕捉到它們澎剥,那么線程只會退出而線程池的大小將會永久減少一個。當這種情況發(fā)生的次數(shù)足夠多時赶舆,線程池最終就為空哑姚,而且系統(tǒng)將停止趾唱,因為沒有可用的線程來處理任務。
有些任務可能會永遠等待某些資源或來自用戶的輸入蜻懦,而這些資源又不能保證變得可用甜癞,用戶可能也已經(jīng)回家了,諸如此類的任務會永久停止宛乃,而這些停止的任務也會引起和線程泄漏同樣的問題悠咱。如果某個線程被這樣一個任務永久地消耗著,那么它實際上就被從池除去了征炼。對于這樣的任務析既,應該要么只給予它們自己的線程,要么只讓它們等待有限的時間谆奥。
請求過載
僅僅是請求就壓垮了服務器眼坏,這種情況是可能的。在這種情形下酸些,我們可能不想將每個到來的請求都排隊到我們的工作隊列宰译,因為排在隊列中等待執(zhí)行的任務可能會消耗太多的系統(tǒng)資源并引起資源缺乏。在這種情形下決定如何做取決于您自己魄懂;在某些情況下沿侈,您可以簡單地拋棄請求,依靠更高級別的協(xié)議稍后重試請求市栗,您也可以用一個指出服務器暫時很忙的響應來拒絕請求缀拭。
有效使用線程池的準則
只要您遵循幾條簡單的準則,線程池可以成為構(gòu)建服務器應用程序的極其有效的方法:
不要對那些同步等待其它任務結(jié)果的任務排隊填帽。這可能會導致上面所描述的那種形式的死鎖溶耘,在那種死鎖中易结,所有線程都被一些任務所占用晦溪,這些任務依次等待排隊任務的結(jié)果只搁,而這些任務又無法執(zhí)行铅辞,因為所有的線程都很忙突诬。
在為時間可能很長的操作使用合用的線程時要小心顿苇。如果程序必須等待諸如 I/O 完成這樣的某個資源界酒,那么請指定最長的等待時間葵第,以及隨后是失效還是將任務重新排隊以便稍后執(zhí)行绘迁。這樣做保證了:通過將某個線程釋放給某個可能成功完成的任務,從而將最終取得 某些進展卒密。
理解任務缀台。要有效地調(diào)整線程池大小,您需要理解正在排隊的任務以及它們正在做什么哮奇。它們是 CPU 限制的(CPU-bound)嗎膛腐?它們是 I/O 限制的(I/O-bound)嗎睛约?您的答案將影響您如何調(diào)整應用程序。如果您有不同的任務類哲身,這些類有著截然不同的特征辩涝,那么為不同任務類設置多個工作隊列可能會有意義,這樣可以相應地調(diào)整每個池勘天。
調(diào)整池的大小
===
調(diào)整線程池的大小基本上就是避免兩類錯誤:線程太少或線程太多怔揩。幸運的是,對于大多數(shù)應用程序來說脯丝,太多和太少之間的余地相當寬商膊。
請回憶:在應用程序中使用線程有兩個主要優(yōu)點,盡管在等待諸如 I/O 的慢操作宠进,但允許繼續(xù)進行處理晕拆,并且可以利用多處理器。在運行于具有 N 個處理器機器上的計算限制的應用程序中材蹬,在線程數(shù)目接近 N 時添加額外的線程可能會改善總處理能力实幕,而在線程數(shù)目超過 N 時添加額外的線程將不起作用。事實上堤器,太多的線程甚至會降低性能茬缩,因為它會導致額外的環(huán)境切換開銷。
線程池的最佳大小取決于可用處理器的數(shù)目以及工作隊列中的任務的性質(zhì)吼旧。若在一個具有 N 個處理器的系統(tǒng)上只有一個工作隊列凰锡,其中全部是計算性質(zhì)的任務,在線程池具有 N 或 N+1 個線程時一般會獲得最大的 CPU 利用率圈暗。
對于那些可能需要等待 I/O 完成的任務(例如掂为,從套接字讀取 HTTP 請求的任務),需要讓池的大小超過可用處理器的數(shù)目员串,因為并不是所有線程都一直在工作勇哗。通過使用概要分析,您可以估計某個典型請求的等待時間(WT)與服務時間(ST)之間的比例寸齐。如果我們將這一比例稱之為 WT/ST欲诺,那么對于一個具有 N 個處理器的系統(tǒng),需要設置大約 N*(1+WT/ST) 個線程來保持處理器得到充分利用渺鹦。
處理器利用率不是調(diào)整線程池大小過程中的唯一考慮事項扰法。隨著線程池的增長,您可能會碰到調(diào)度程序毅厚、可用內(nèi)存方面的限制塞颁,或者其它系統(tǒng)資源方面的限制,例如套接字、打開的文件句柄或數(shù)據(jù)庫連接等的數(shù)目祠锣。
無須編寫您自己的池
Doug Lea 編寫了一個優(yōu)秀的并發(fā)實用程序開放源碼庫 util.concurrent 酷窥,它包括互斥、信號量伴网、諸如在并發(fā)訪問下執(zhí)行得很好的隊列和散列表之類集合類以及幾個工作隊列實現(xiàn)蓬推。該包中的 PooledExecutor 類是一種有效的、廣泛使用的以工作隊列為基礎的線程池的正確實現(xiàn)澡腾。您無須嘗試編寫您自己的線程池拳氢,這樣做容易出錯,相反您可以考慮使用 util.concurrent 中的一些實用程序蛋铆。參閱 參考資料以獲取鏈接和更多信息馋评。
util.concurrent 庫也激發(fā)了 JSR 166,JSR 166 是一個 Java 社區(qū)過程(Java Community Process (JCP))工作組刺啦,他們正在打算開發(fā)一組包含在 java.util.concurrent 包下的 Java 類庫中的并發(fā)實用程序留特,這個包應該用于 Java 開發(fā)工具箱 1.5 發(fā)行版。
線程池是組織服務器應用程序的有用工具玛瘸。它在概念上十分簡單蜕青,但在實現(xiàn)和使用一個池時,卻需要注意幾個問題糊渊,例如死鎖右核、資源不足和 wait() 及 notify() 的復雜性。如果您發(fā)現(xiàn)您的應用程序需要線程池渺绒,那么請考慮使用 util.concurrent 中的某個 Executor 類贺喝,例如 PooledExecutor ,而不用從頭開始編寫宗兼。如果您要自己創(chuàng)建線程來處理生存期很短的任務躏鱼,那么您絕對應該考慮使用線程池來替代。
JDK自帶線程池總類介紹介紹:
1殷绍、newFixedThreadPool創(chuàng)建一個指定工作線程數(shù)量的線程池。每當提交一個任務就創(chuàng)建一個工作線程茶行,如果工作線程數(shù)量達到線程池初始的最大數(shù)怔鳖,則將提交的任務存入到池隊列中。
package test;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
public class ThreadPoolExecutorTest {
public static void main(String[] args) {
ExecutorService fixedThreadPool = Executors.newFixedThreadPool(3);
for (int i = 0; i < 10; i++) {
final int index = i;
fixedThreadPool.execute(new Runnable() {
public void run() {
try {
System.out.println(index);
Thread.sleep(2000);
} catch (InterruptedException e) {
e.printStackTrace();
}
}
});
}
}
}
2蜡感、newCachedThreadPool創(chuàng)建一個可緩存的線程池郑兴。這種類型的線程池特點是:
1).工作線程的創(chuàng)建數(shù)量幾乎沒有限制(其實也有限制的,數(shù)目為Interger. MAX_VALUE), 這樣可靈活的往線程池中添加線程却舀。
2).如果長時間沒有往線程池中提交任務辆脸,即如果工作線程空閑了指定的時間(默認為1分鐘)术裸,則該工作線程將自動終止。終止后袍镀,如果你又提交了新的任務绸吸,則線程池重新創(chuàng)建一個工作線程。
package test;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
public class ThreadPoolExecutorTest {
public static void main(String[] args) {
ExecutorService cachedThreadPool = Executors.newCachedThreadPool();
for (int i = 0; i < 10; i++) {
final int index = i;
try {
Thread.sleep(index * 1000);
} catch (InterruptedException e) {
e.printStackTrace();
}
cachedThreadPool.execute(new Runnable() {
public void run() {
System.out.println(index);
}
});
}
}
}
3稿存、newSingleThreadExecutor創(chuàng)建一個單線程化的Executor,即只創(chuàng)建唯一的工作者線程來執(zhí)行任務安聘,如果這個線程異常結(jié)束,會有另一個取代它瓢棒,保證順序執(zhí)行(我覺得這點是它的特色)浴韭。單工作線程最大的特點是可保證順序地執(zhí)行各個任務,并且在任意給定的時間不會有多個線程是活動的 脯宿。
package test;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
public class ThreadPoolExecutorTest {
public static void main(String[] args) {
ExecutorService singleThreadExecutor = Executors.newSingleThreadExecutor();
for (int i = 0; i < 10; i++) {
final int index = i;
singleThreadExecutor.execute(new Runnable() {
public void run() {
try {
System.out.println(index);
Thread.sleep(2000);
} catch (InterruptedException e) {
e.printStackTrace();
}
}
});
}
}
}
4念颈、newScheduleThreadPool創(chuàng)建一個定長的線程池,而且支持定時的以及周期性的任務執(zhí)行连霉,類似于Timer榴芳。(這種線程池原理暫還沒完全了解透徹)
package test;
import java.util.concurrent.Executors;
import java.util.concurrent.ScheduledExecutorService;
import java.util.concurrent.TimeUnit;
public class ThreadPoolExecutorTest {
public static void main(String[] args) {
ScheduledExecutorService scheduledThreadPool = Executors.newScheduledThreadPool(5);
scheduledThreadPool.schedule(new Runnable() {
public void run() {
System.out.println("delay 3 seconds");
}
}, 3, TimeUnit.SECONDS);
}
}
表示延遲3秒執(zhí)行。
定期執(zhí)行示例代碼如下:
package test;
import java.util.concurrent.Executors;
import java.util.concurrent.ScheduledExecutorService;
import java.util.concurrent.TimeUnit;
public class ThreadPoolExecutorTest {
public static void main(String[] args) {
ScheduledExecutorService scheduledThreadPool = Executors.newScheduledThreadPool(5);
scheduledThreadPool.scheduleAtFixedRate(new Runnable() {
public void run() {
System.out.println("delay 1 seconds, and excute every 3 seconds");
}
}, 1, 3, TimeUnit.SECONDS);
}
}
表示延遲1秒后每3秒執(zhí)行一次跺撼。
總結(jié):
一.FixedThreadPool是一個典型且優(yōu)秀的線程池窟感,它具有線程池提高程序效率和節(jié)省創(chuàng)建線程時所耗的開銷的優(yōu)點。但是歉井,在線程池空閑時柿祈,即線程池中沒有可運行任務時,它不會釋放工作線程哩至,還會占用一定的系統(tǒng)資源躏嚎。
二.CachedThreadPool的特點就是在線程池空閑時,即線程池中沒有可運行任務時菩貌,它會釋放工作線程卢佣,從而釋放工作線程所占用的資源。但是箭阶,但當出現(xiàn)新任務時虚茶,又要創(chuàng)建一新的工作線程戈鲁,又要一定的系統(tǒng)開銷。并且嘹叫,在使用CachedThreadPool時婆殿,一定要注意控制任務的數(shù)量,否則待笑,由于大量線程同時運行鸣皂,很有會造成系統(tǒng)癱瘓抓谴。