fork(Unix/Linux/Mac)
Unix/Linux操作系統(tǒng)提供了一個(gè)fork()系統(tǒng)調(diào)用派歌,它非常特殊埃撵。普通的函數(shù)調(diào)用,調(diào)用一次氢拥,返回一次蚌铜,但是fork()調(diào)用一次,返回兩次嫩海,因?yàn)椴僮飨到y(tǒng)自動(dòng)把當(dāng)前進(jìn)程(稱(chēng)為父進(jìn)程)復(fù)制了一份(稱(chēng)為子進(jìn)程)冬殃,然后,分別在父進(jìn)程和子進(jìn)程內(nèi)返回叁怪。
子進(jìn)程永遠(yuǎn)返回0审葬,而父進(jìn)程返回子進(jìn)程的ID。這樣做的理由是奕谭,一個(gè)父進(jìn)程可以fork出很多子進(jìn)程涣觉,所以,父進(jìn)程要記下每個(gè)子進(jìn)程的ID血柳,而子進(jìn)程只需要調(diào)用getppid()就可以拿到父進(jìn)程的ID官册。
import os
print('Process (%s) start...'% os.getpid())
pid = os.fork()
if pid ==0:?
??? print('I am child process (%s) and my parent is %s.'% (os.getpid(), os.getppid()))
else:? ?
??? print('I (%s) just created a child process (%s).'% (os.getpid(), pid))
from multiprocessing importProcess
? ? print('Run child process %s (%s)...'% (name, os.getpid()))
if__name__=='__main__':
? ? print('Parent process %s.'% os.getpid())
? ? p = Process(target=run_proc, args=('test',))
? ? print('Child process will start.')
? ? p.start()
? ? p.join()
? ? print('Child process end.')
創(chuàng)建子進(jìn)程時(shí),只需要傳入一個(gè)執(zhí)行函數(shù)和函數(shù)的參數(shù)员淫,創(chuàng)建一個(gè)Process實(shí)例合蔽,用start()方法啟動(dòng),這樣創(chuàng)建進(jìn)程比f(wàn)ork()還要簡(jiǎn)單介返。
join()方法可以等待子進(jìn)程結(jié)束后再繼續(xù)往下運(yùn)行拴事,通常用于進(jìn)程間的同步。
Pool
如果要啟動(dòng)大量的子進(jìn)程映皆,可以用進(jìn)程池的方式批量創(chuàng)建子進(jìn)程:
from multiprocessing import Pool
import os, time, random
def long_time_task(name):
??? print('Run task %s (%s)...'% (name, os.getpid()))? ?
??? start = time.time()??
???? time.sleep(random.random() *3)? ?
??? end = time.time()? ?
??? print('Task %s runs %0.2f seconds.'% (name, (end - start)))
if__name__=='__main__':
??? print('Parent process %s.'% os.getpid())
??? p = Pool(4)
??? for i in range(5):
??? p.apply_async(long_time_task,args=(i,))
??? print('Waiting for all subprocesses done...')
??? p.close()
??? print('11111...')
??? p.join()
??? # 開(kāi)始等待子進(jìn)程執(zhí)行完成
??? print('22222...')
??? print('All subprocesses done.')
Pool對(duì)象調(diào)用join()方法會(huì)等待所有子進(jìn)程執(zhí)行完畢挤聘,調(diào)用join()之前必須先調(diào)用close(),調(diào)用close()之后就不能繼續(xù)添加新的Process了捅彻。
Pool的默認(rèn)大小在我的電腦上是4,因此鞍陨,最多同時(shí)執(zhí)行4個(gè)進(jìn)程步淹。輸出的結(jié)果,task0诚撵,1缭裆,2,3是立刻執(zhí)行的寿烟,而task4要等待前面某個(gè)task完成后才執(zhí)行
子進(jìn)程
subprocess模塊可以讓我們非常方便地啟動(dòng)一個(gè)子進(jìn)程澈驼,然后控制其輸入和輸出。
subprocess.call
subprocess.Popen
進(jìn)程間通信
Process之間肯定是需要通信的筛武,操作系統(tǒng)提供了很多機(jī)制來(lái)實(shí)現(xiàn)進(jìn)程間的通信缝其。Python的multiprocessing模塊包裝了底層的機(jī)制,提供了Queue徘六、Pipes等多種方式來(lái)交換數(shù)據(jù)内边。
import os, time, random
from multiprocessing
import Process, Queue
# 寫(xiě)數(shù)據(jù)進(jìn)程執(zhí)行的代碼:
def write(q):
??? print('Process to write: %s'% os.getpid())
???? for value in ['A','B','C']:
??? print('Put %s to queue...'% value)
??? q.put(value)
??? time.sleep(random.random())
# 讀數(shù)據(jù)進(jìn)程執(zhí)行的代碼:
def read(q):
???? print('Process to read: %s'% os.getpid())
??? while True:
??? value = q.get(True)
??? print('Get %s from queue.'% value)
if__name__=='__main__':
# 父進(jìn)程創(chuàng)建Queue,并傳給各個(gè)子進(jìn)程:
q = Queue()
pw = Process(target=write,args=(q,))
pr = Process(target=read,args=(q,))
# 啟動(dòng)子進(jìn)程pw待锈,寫(xiě)入:
pw.start()
# 啟動(dòng)子進(jìn)程pr漠其,讀取:
pr.start()
# 等待pw結(jié)束:
pw.join()
# pr進(jìn)程里是死循環(huán),無(wú)法等待其結(jié)束竿音,只能強(qiáng)行終止:
pr.terminate()
要實(shí)現(xiàn)跨平臺(tái)的多進(jìn)程和屎,可以使用multiprocessing模塊。
進(jìn)程間通信是通過(guò)Queue春瞬、Pipes等實(shí)現(xiàn)的柴信。