第一次寫(xiě)文章，最近在做自然語(yǔ)言處理方面的工作，在工作中遇到一些程序跑了很長(zhǎng)時(shí)間艾杏，所以今天看一下python中的多進(jìn)程碌冶，希望能在以后的工作中應(yīng)用。廢話(huà)不多說(shuō)虱咧，開(kāi)始：
多進(jìn)程的思想：既然你看到這篇文章熊榛，一定是在學(xué)習(xí)和工作中需要多進(jìn)程的幫助了，應(yīng)該也知道一些多進(jìn)程的原理了腕巡，在這里我就簡(jiǎn)單說(shuō)一下：多進(jìn)程是充分利用硬件來(lái)?yè)Q取時(shí)間的一種手段玄坦，簡(jiǎn)單來(lái)講就是讓兩件互不干擾的事情并行。舉個(gè)生活的例子绘沉，你做飯的時(shí)候一遍炒菜一遍燒水用來(lái)煮餃子煎楣，燒水和炒菜就是兩個(gè)互不影響的進(jìn)程，兩個(gè)進(jìn)程共同使用你們家里的點(diǎn)车伞，這也就要求你們家有足夠好的電路可以允許炒菜和燒水一起择懂，這也就是對(duì)電腦硬件的要求，否者進(jìn)程太多只會(huì)帶來(lái)麻煩另玖。
在python中多進(jìn)程使用的包是multiprocessing困曙，不需要安裝，直接import使用就可以了谦去，我們先來(lái)舉一個(gè)簡(jiǎn)單的例子來(lái)簡(jiǎn)單看一下多進(jìn)程在python中時(shí)如何使用的慷丽。假設(shè)我們想寫(xiě)一個(gè)從0累加到1000000000的程序，使用單進(jìn)程我們可以寫(xiě)成下面的樣子：
from multiprocessingimport Pool
import datetime
def add_big(bigNumber):
result =0
for i in range(0, bigNumber+1):
result += i
return result
startTime = datetime.datetime.now()
print(add_big(1000000000))
print(datetime.datetime.now() - startTime) # 計(jì)算用的時(shí)間
返回的結(jié)果是：
500000000500000000
0:00:53.116295
那我們來(lái)設(shè)計(jì)一個(gè)雙進(jìn)程的程序鳄哭，我們想將從0累加到1000000000的的過(guò)程分為兩個(gè)進(jìn)程：
①?gòu)?累加到500000000的要糊；
②從500000001,到1000000000。兩個(gè)進(jìn)程的結(jié)果在最后相加得出的結(jié)果就是我們想要的最終結(jié)果妆丘，程序如下：
def add_part(part):
"""
計(jì)算一個(gè)列表的開(kāi)始到末尾的累加
:parampart:長(zhǎng)度為二的列表
:return: 返回累加的和
"""
result =0
for i in range(part[0], part[1] +1):
result += i
return result
if __name__ =='__main__':
startTime = datetime.datetime.now()
with Pool(2) as p:
result_list = p.map(add_part, [[0, 500000000], [500000001, 1000000000]])
print(sum(result_list))
print(datetime.datetime.now() - startTime)
返回的結(jié)果是：
500000000500000000
0:00:38.115395
我們看到計(jì)算結(jié)果是一樣的锄俄，時(shí)間從53下降到38。在上面的程序中我們對(duì)進(jìn)程p調(diào)用了它的類(lèi)方法map()勺拣，這里先不用對(duì)map方法有很深入的了解奶赠，知道其可以向進(jìn)程池提交目標(biāo)請(qǐng)求，就是告訴進(jìn)程池里的進(jìn)程做什么药有。Pool(2)是指我們建立了一個(gè)池车柠，這個(gè)詞有多大呢？就是我們傳進(jìn)去的參數(shù)2，也就是說(shuō)這個(gè)池中最多有兩個(gè)并行運(yùn)行的進(jìn)程竹祷。結(jié)合我們的例子谈跛，我們?cè)诶又虚_(kāi)了兩個(gè)進(jìn)程，就是將累加分為了兩部分塑陵，我們通過(guò)改變Pool的參數(shù)擴(kuò)大池的容量感憾，擴(kuò)大為3，再次運(yùn)行令花，結(jié)果如下：
500000000500000000
0:00:37.938921
可以看到時(shí)間幾乎沒(méi)有變化阻桅，說(shuō)明當(dāng)池的容量擴(kuò)大到所有進(jìn)程總數(shù)的時(shí)候，在擴(kuò)大池并不會(huì)減少你的時(shí)間兼都，就相當(dāng)于你買(mǎi)了一個(gè)由很多孔的插排給燒水和炒菜的鍋和電磁爐嫂沉，并不會(huì)減少你炒菜和燒水一起并行的時(shí)間。當(dāng)然扮碧，如果池的容量小于進(jìn)程的數(shù)量趟章，就會(huì)影響總體的運(yùn)行時(shí)間，就像只有一個(gè)插孔慎王，你燒水和炒菜就并行不了了蚓土，要在池外進(jìn)行等候。
這是簡(jiǎn)單的介紹赖淤，python中多進(jìn)程還有很多內(nèi)容蜀漆，比如：多進(jìn)程的類(lèi)Process、進(jìn)程間的交互Queue咱旱、進(jìn)程之間交互Pipe确丢、進(jìn)程池pool等，請(qǐng)看我在簡(jiǎn)書(shū)下面的文章吐限。
