python里的多進(jìn)程

fork(Unix/Linux/Mac)

Unix/Linux操作系統(tǒng)提供了一個(gè)fork()系統(tǒng)調(diào)用派歌,它非常特殊埃撵。普通的函數(shù)調(diào)用,調(diào)用一次氢拥,返回一次蚌铜,但是fork()調(diào)用一次,返回兩次嫩海,因?yàn)椴僮飨到y(tǒng)自動(dòng)把當(dāng)前進(jìn)程(稱(chēng)為父進(jìn)程)復(fù)制了一份(稱(chēng)為子進(jìn)程)冬殃,然后,分別在父進(jìn)程和子進(jìn)程內(nèi)返回叁怪。

子進(jìn)程永遠(yuǎn)返回0审葬,而父進(jìn)程返回子進(jìn)程的ID。這樣做的理由是奕谭,一個(gè)父進(jìn)程可以fork出很多子進(jìn)程涣觉,所以,父進(jìn)程要記下每個(gè)子進(jìn)程的ID血柳,而子進(jìn)程只需要調(diào)用getppid()就可以拿到父進(jìn)程的ID官册。

import os

print('Process (%s) start...'% os.getpid())

pid = os.fork()

if pid ==0:?

??? print('I am child process (%s) and my parent is %s.'% (os.getpid(), os.getppid()))

else:? ?

??? print('I (%s) just created a child process (%s).'% (os.getpid(), pid))


1

multiprocessing

由于Python是跨平臺(tái)的,自然也應(yīng)該提供一個(gè)跨平臺(tái)的多進(jìn)程支持难捌。multiprocessing模塊就是跨平臺(tái)版本的多進(jìn)程模塊膝宁。

multiprocessing模塊提供了一個(gè)Process類(lèi)來(lái)代表一個(gè)進(jìn)程對(duì)象鸦难,下面的例子演示了啟動(dòng)一個(gè)子進(jìn)程并等待其結(jié)束:

from multiprocessing importProcess

importos

defrun_proc(name):

? ? print('Run child process %s (%s)...'% (name, os.getpid()))

if__name__=='__main__':

? ? print('Parent process %s.'% os.getpid())

? ? p = Process(target=run_proc, args=('test',))

? ? print('Child process will start.')

? ? p.start()

? ? p.join()

? ? print('Child process end.')

2

創(chuàng)建子進(jìn)程時(shí),只需要傳入一個(gè)執(zhí)行函數(shù)和函數(shù)的參數(shù)员淫,創(chuàng)建一個(gè)Process實(shí)例合蔽,用start()方法啟動(dòng),這樣創(chuàng)建進(jìn)程比f(wàn)ork()還要簡(jiǎn)單介返。

join()方法可以等待子進(jìn)程結(jié)束后再繼續(xù)往下運(yùn)行拴事,通常用于進(jìn)程間的同步。

Pool

如果要啟動(dòng)大量的子進(jìn)程映皆,可以用進(jìn)程池的方式批量創(chuàng)建子進(jìn)程:

from multiprocessing import Pool

import os, time, random

def long_time_task(name):

??? print('Run task %s (%s)...'% (name, os.getpid()))? ?

??? start = time.time()??

???? time.sleep(random.random() *3)? ?

??? end = time.time()? ?

??? print('Task %s runs %0.2f seconds.'% (name, (end - start)))

if__name__=='__main__':

??? print('Parent process %s.'% os.getpid())

??? p = Pool(4)

??? for i in range(5):

??? p.apply_async(long_time_task,args=(i,))

??? print('Waiting for all subprocesses done...')

??? p.close()

??? print('11111...')

??? p.join()

??? # 開(kāi)始等待子進(jìn)程執(zhí)行完成

??? print('22222...')

??? print('All subprocesses done.')

3

Pool對(duì)象調(diào)用join()方法會(huì)等待所有子進(jìn)程執(zhí)行完畢挤聘,調(diào)用join()之前必須先調(diào)用close(),調(diào)用close()之后就不能繼續(xù)添加新的Process了捅彻。

Pool的默認(rèn)大小在我的電腦上是4,因此鞍陨,最多同時(shí)執(zhí)行4個(gè)進(jìn)程步淹。輸出的結(jié)果,task0诚撵,1缭裆,2,3是立刻執(zhí)行的寿烟,而task4要等待前面某個(gè)task完成后才執(zhí)行

子進(jìn)程

subprocess模塊可以讓我們非常方便地啟動(dòng)一個(gè)子進(jìn)程澈驼,然后控制其輸入和輸出。

subprocess.call

subprocess.Popen

進(jìn)程間通信

Process之間肯定是需要通信的筛武,操作系統(tǒng)提供了很多機(jī)制來(lái)實(shí)現(xiàn)進(jìn)程間的通信缝其。Python的multiprocessing模塊包裝了底層的機(jī)制,提供了Queue徘六、Pipes等多種方式來(lái)交換數(shù)據(jù)内边。

import os, time, random

from multiprocessing

import Process, Queue

# 寫(xiě)數(shù)據(jù)進(jìn)程執(zhí)行的代碼:

def write(q):

??? print('Process to write: %s'% os.getpid())

???? for value in ['A','B','C']:

??? print('Put %s to queue...'% value)

??? q.put(value)

??? time.sleep(random.random())

# 讀數(shù)據(jù)進(jìn)程執(zhí)行的代碼:

def read(q):

???? print('Process to read: %s'% os.getpid())

??? while True:

??? value = q.get(True)

??? print('Get %s from queue.'% value)

if__name__=='__main__':

# 父進(jìn)程創(chuàng)建Queue,并傳給各個(gè)子進(jìn)程:

q = Queue()

pw = Process(target=write,args=(q,))

pr = Process(target=read,args=(q,))

# 啟動(dòng)子進(jìn)程pw待锈,寫(xiě)入:

pw.start()

# 啟動(dòng)子進(jìn)程pr漠其,讀取:

pr.start()

# 等待pw結(jié)束:

pw.join()

# pr進(jìn)程里是死循環(huán),無(wú)法等待其結(jié)束竿音,只能強(qiáng)行終止:

pr.terminate()

4

要實(shí)現(xiàn)跨平臺(tái)的多進(jìn)程和屎,可以使用multiprocessing模塊。

進(jìn)程間通信是通過(guò)Queue春瞬、Pipes等實(shí)現(xiàn)的柴信。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市快鱼,隨后出現(xiàn)的幾起案子颠印,更是在濱河造成了極大的恐慌纲岭,老刑警劉巖,帶你破解...
    沈念sama閱讀 217,084評(píng)論 6 503
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件线罕,死亡現(xiàn)場(chǎng)離奇詭異止潮,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī)钞楼,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,623評(píng)論 3 392
  • 文/潘曉璐 我一進(jìn)店門(mén)喇闸,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人询件,你說(shuō)我怎么就攤上這事燃乍。” “怎么了宛琅?”我有些...
    開(kāi)封第一講書(shū)人閱讀 163,450評(píng)論 0 353
  • 文/不壞的土叔 我叫張陵刻蟹,是天一觀(guān)的道長(zhǎng)。 經(jīng)常有香客問(wèn)我嘿辟,道長(zhǎng)舆瘪,這世上最難降的妖魔是什么? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 58,322評(píng)論 1 293
  • 正文 為了忘掉前任红伦,我火速辦了婚禮英古,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘昙读。我一直安慰自己召调,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,370評(píng)論 6 390
  • 文/花漫 我一把揭開(kāi)白布蛮浑。 她就那樣靜靜地躺著唠叛,像睡著了一般。 火紅的嫁衣襯著肌膚如雪陵吸。 梳的紋絲不亂的頭發(fā)上玻墅,一...
    開(kāi)封第一講書(shū)人閱讀 51,274評(píng)論 1 300
  • 那天,我揣著相機(jī)與錄音壮虫,去河邊找鬼澳厢。 笑死,一個(gè)胖子當(dāng)著我的面吹牛囚似,可吹牛的內(nèi)容都是我干的剩拢。 我是一名探鬼主播,決...
    沈念sama閱讀 40,126評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼饶唤,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼徐伐!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起募狂,我...
    開(kāi)封第一講書(shū)人閱讀 38,980評(píng)論 0 275
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤办素,失蹤者是張志新(化名)和其女友劉穎角雷,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體性穿,經(jīng)...
    沈念sama閱讀 45,414評(píng)論 1 313
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡勺三,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,599評(píng)論 3 334
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了需曾。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片吗坚。...
    茶點(diǎn)故事閱讀 39,773評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖呆万,靈堂內(nèi)的尸體忽然破棺而出商源,到底是詐尸還是另有隱情,我是刑警寧澤谋减,帶...
    沈念sama閱讀 35,470評(píng)論 5 344
  • 正文 年R本政府宣布牡彻,位于F島的核電站,受9級(jí)特大地震影響出爹,放射性物質(zhì)發(fā)生泄漏讨便。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,080評(píng)論 3 327
  • 文/蒙蒙 一以政、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧伴找,春花似錦盈蛮、人聲如沸。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 31,713評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至衰倦,卻和暖如春袒炉,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背樊零。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 32,852評(píng)論 1 269
  • 我被黑心中介騙來(lái)泰國(guó)打工我磁, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人驻襟。 一個(gè)月前我還...
    沈念sama閱讀 47,865評(píng)論 2 370
  • 正文 我出身青樓夺艰,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親沉衣。 傳聞我的和親對(duì)象是個(gè)殘疾皇子郁副,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,689評(píng)論 2 354

推薦閱讀更多精彩內(nèi)容