線程池的使用
線程池的基類是 concurrent.futures 模塊中的 Executor,Executor 提供了兩個(gè)子類约郁,即 ThreadPoolExecutor 和 ProcessPoolExecutor战惊,其中 ThreadPoolExecutor 用于創(chuàng)建線程池,而 ProcessPoolExecutor 用于創(chuàng)建進(jìn)程池。
如果使用線程池/進(jìn)程池來(lái)管理并發(fā)編程吞获,那么只要將相應(yīng)的 task 函數(shù)提交給線程池/進(jìn)程池况凉,剩下的事情就由線程池/進(jìn)程池來(lái)搞定。
Exectuor 提供了如下常用方法:
- submit(fn, *args, kwargs):將 fn 函數(shù)提交給線程池各拷。args 代表傳給 fn 函數(shù)的參數(shù)刁绒,kwargs 代表以關(guān)鍵字參數(shù)的形式為 fn 函數(shù)傳入?yún)?shù)。
- map(func, *iterables, timeout=None, chunksize=1):該函數(shù)類似于全局函數(shù) map(func, *iterables)烤黍,只是該函數(shù)將會(huì)啟動(dòng)多個(gè)線程知市,以異步方式立即對(duì) iterables 執(zhí)行 map 處理。
- shutdown(wait=True):關(guān)閉線程池速蕊。
程序?qū)?task 函數(shù)提交(submit)給線程池后嫂丙,submit 方法會(huì)返回一個(gè) Future 對(duì)象,F(xiàn)uture 類主要用于獲取線程任務(wù)函數(shù)的返回值规哲。由于線程任務(wù)會(huì)在新線程中以異步方式執(zhí)行跟啤,因此,線程執(zhí)行的函數(shù)相當(dāng)于一個(gè)“將來(lái)完成”的任務(wù)唉锌,所以 Python 使用 Future 來(lái)代表隅肥。
實(shí)際上,在 Java 的多線程編程中同樣有 Future袄简,此處的 Future 與 Java 的 Future 大同小異腥放。
Future 提供了如下方法:
- cancel():取消該 Future 代表的線程任務(wù)。如果該任務(wù)正在執(zhí)行绿语,不可取消秃症,則該方法返回 False;否則汞舱,程序會(huì)取消該任務(wù)伍纫,并返回 True。
- cancelled():返回 Future 代表的線程任務(wù)是否被成功取消昂芜。
- running():如果該 Future 代表的線程任務(wù)正在執(zhí)行莹规、不可被取消,該方法返回 True泌神。
- done():如果該 Funture 代表的線程任務(wù)被成功取消或執(zhí)行完成良漱,則該方法返回 True。
- result(timeout=None):獲取該 Future 代表的線程任務(wù)最后返回的結(jié)果欢际。如果 Future 代表的線程任務(wù)還未完成母市,該方法將會(huì)阻塞當(dāng)前線程,其中 timeout 參數(shù)指定最多阻塞多少秒损趋。
- exception(timeout=None):獲取該 Future 代表的線程任務(wù)所引發(fā)的異常患久。如果該任務(wù)成功完成,沒有異常,則該方法返回 None蒋失。
- add_done_callback(fn):為該 Future 代表的線程任務(wù)注冊(cè)一個(gè)“回調(diào)函數(shù)”返帕,當(dāng)該任務(wù)成功完成時(shí),程序會(huì)自動(dòng)觸發(fā)該 fn 函數(shù)篙挽。
在用完一個(gè)線程池后荆萤,應(yīng)該調(diào)用該線程池的 shutdown() 方法,該方法將啟動(dòng)線程池的關(guān)閉序列铣卡。調(diào)用 shutdown() 方法后的線程池不再接收新任務(wù)链韭,但會(huì)將以前所有的已提交任務(wù)執(zhí)行完成。當(dāng)線程池中的所有任務(wù)都執(zhí)行完成后煮落,該線程池中的所有線程都會(huì)死亡敞峭。
使用線程池來(lái)執(zhí)行線程任務(wù)的步驟如下:
- 調(diào)用 ThreadPoolExecutor 類的構(gòu)造器創(chuàng)建一個(gè)線程池。
- 定義一個(gè)普通函數(shù)作為線程任務(wù)州邢。
- 調(diào)用 ThreadPoolExecutor 對(duì)象的 submit() 方法來(lái)提交線程任務(wù)儡陨。
- 當(dāng)不想提交任何任務(wù)時(shí),調(diào)用 ThreadPoolExecutor 對(duì)象的 shutdown() 方法來(lái)關(guān)閉線程池量淌。