Python 進程和線程

多進程

  • fork
    Unix/Linux操作系統(tǒng)提供了一個fork()系統(tǒng)調(diào)用镜豹,它非常特殊甫匹。普通的函數(shù)調(diào)用甸鸟,調(diào)用一次,返回一次兵迅,但是fork()調(diào)用一次抢韭,返回兩次,因為操作系統(tǒng)自動把當前進程(稱為父進程)復制了一份(稱為子進程)恍箭,然后刻恭,分別在父進程和子進程內(nèi)返回。
import os

print('Process (%s) start...' % os.getpid())  #getpid()當前進程
# Only works on Unix/Linux/Mac:
pid = os.fork()
if pid == 0:            #子進程返回0
    print('I am child process (%s) and my parent is %s.' % (os.getpid(), os.getppid())) #getppid當前進程父進程
else:                   #父進程返回子進程的ID
    print('I (%s) just created a child process (%s).' % (os.getpid(), pid))

子進程永遠返回0扯夭,而父進程返回子進程的ID鳍贾。這樣做的理由是,一個父進程可以fork出很多子進程交洗,所以骑科,父進程要記下每個子進程的ID,而子進程只需要調(diào)用getppid()就可以拿到父進程的ID构拳。

Process (876) start...
I (876) just created a child process (877).
I am child process (877) and my parent is 876.
  • multiprocessing
    由于Python是跨平臺的咆爽,自然也應該提供一個跨平臺的多進程支持梁棠。multiprocessing模塊就是跨平臺版本的多進程模塊。
    下面的例子演示了啟動一個子進程并等待其結束:
from multiprocessing import Process
import os

# 子進程要執(zhí)行的代碼
def run_proc(name):
    print('Run child process %s (%s)...' % (name, os.getpid()))

if __name__=='__main__':
    print('Parent process %s.' % os.getpid())
    p = Process(target=run_proc, args=('test',))
    print('Child process will start.')
    p.start()
    p.join()                 #join()方法可以等待子進程結束后再繼續(xù)往下運行斗埂,通常用于進程間的同步符糊。
    print('Child process end.')
Parent process 928.
Process will start.
Run child process test (929)...
Process end.
  • Bool
    如果要啟動大量的子進程,可以用進程池的方式批量創(chuàng)建子進程
from multiprocessing import Pool
import os, time, random

def long_time_task(name):
    print('Run task %s (%s)...' % (name, os.getpid()))
    start = time.time()
    time.sleep(random.random() * 3)
    end = time.time()
    print('Task %s runs %0.2f seconds.' % (name, (end - start)))

if __name__=='__main__':
    print('Parent process %s.' % os.getpid())
    p = Pool(4)
    for i in range(5):
        p.apply_async(long_time_task, args=(i,))
    print('Waiting for all subprocesses done...')
    p.close()
    p.join()
    print('All subprocesses done.')
Parent process 669.
Waiting for all subprocesses done...
Run task 0 (671)...
Run task 1 (672)...
Run task 2 (673)...
Run task 3 (674)...
Task 2 runs 0.14 seconds.
Run task 4 (673)...
Task 1 runs 0.27 seconds.
Task 3 runs 0.86 seconds.
Task 0 runs 1.41 seconds.
Task 4 runs 1.91 seconds.

對Pool對象調(diào)用join()方法會等待所有子進程執(zhí)行完畢呛凶,調(diào)用join()之前必須先調(diào)用close()男娄,調(diào)用close()之后就不能繼續(xù)添加新的Process了。

  • 進程間通信
from multiprocessing import Process, Queue
import os, time, random

# 寫數(shù)據(jù)進程執(zhí)行的代碼:
def write(q):
    print('Process to write: %s' % os.getpid())
    for value in ['A', 'B', 'C']:
        print('Put %s to queue...' % value)
        q.put(value)
        time.sleep(random.random())

# 讀數(shù)據(jù)進程執(zhí)行的代碼:
def read(q):
    print('Process to read: %s' % os.getpid())
    while True:
        value = q.get(True)
        print('Get %s from queue.' % value)

if __name__=='__main__':
    # 父進程創(chuàng)建Queue漾稀,并傳給各個子進程:
    q = Queue()
    pw = Process(target=write, args=(q,))
    pr = Process(target=read, args=(q,))
    # 啟動子進程pw模闲,寫入:
    pw.start()
    # 啟動子進程pr,讀取:
    pr.start()
    # 等待pw結束:
    pw.join()
    # pr進程里是死循環(huán)县好,無法等待其結束围橡,只能強行終止:
    pr.terminate()
Process to write: 50563
Put A to queue...
Process to read: 50564
Get A from queue.
Put B to queue...
Get B from queue.
Put C to queue...
Get C from queue.

線程

大多數(shù)情況下使用threading模塊,啟動一個線程就是把一個函數(shù)傳入并創(chuàng)建Thread實例缕贡,然后調(diào)用start()開始執(zhí)行:

import time, threading

# 新線程執(zhí)行的代碼:
def loop():
    print('thread %s is running...' % threading.current_thread().name)
    n = 0
    while n < 5:
        n = n + 1
        print('thread %s >>> %s' % (threading.current_thread().name, n))
        time.sleep(1)
    print('thread %s ended.' % threading.current_thread().name)

print('thread %s is running...' % threading.current_thread().name)
t = threading.Thread(target=loop, name='LoopThread')
t.start()
t.join()
print('thread %s ended.' % threading.current_thread().name)

由于任何進程默認就會啟動一個線程,我們把該線程稱為主線程拣播,主線程又可以啟動新的線程晾咪,Python的threading模塊有個current_thread()函數(shù),它永遠返回當前線程的實例贮配。

最后編輯于
?著作權歸作者所有,轉載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末谍倦,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子泪勒,更是在濱河造成了極大的恐慌昼蛀,老刑警劉巖,帶你破解...
    沈念sama閱讀 216,591評論 6 501
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件圆存,死亡現(xiàn)場離奇詭異叼旋,居然都是意外死亡,警方通過查閱死者的電腦和手機沦辙,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,448評論 3 392
  • 文/潘曉璐 我一進店門夫植,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人油讯,你說我怎么就攤上這事详民。” “怎么了陌兑?”我有些...
    開封第一講書人閱讀 162,823評論 0 353
  • 文/不壞的土叔 我叫張陵沈跨,是天一觀的道長。 經(jīng)常有香客問我兔综,道長饿凛,這世上最難降的妖魔是什么隅俘? 我笑而不...
    開封第一講書人閱讀 58,204評論 1 292
  • 正文 為了忘掉前任,我火速辦了婚禮笤喳,結果婚禮上为居,老公的妹妹穿的比我還像新娘。我一直安慰自己杀狡,他們只是感情好蒙畴,可當我...
    茶點故事閱讀 67,228評論 6 388
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著呜象,像睡著了一般膳凝。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上恭陡,一...
    開封第一講書人閱讀 51,190評論 1 299
  • 那天蹬音,我揣著相機與錄音,去河邊找鬼休玩。 笑死著淆,一個胖子當著我的面吹牛,可吹牛的內(nèi)容都是我干的拴疤。 我是一名探鬼主播永部,決...
    沈念sama閱讀 40,078評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼灸异,長吁一口氣:“原來是場噩夢啊……” “哼蒙秒!你這毒婦竟也來了?” 一聲冷哼從身側響起亡呵,我...
    開封第一講書人閱讀 38,923評論 0 274
  • 序言:老撾萬榮一對情侶失蹤蜒犯,失蹤者是張志新(化名)和其女友劉穎组橄,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體玉工,經(jīng)...
    沈念sama閱讀 45,334評論 1 310
  • 正文 獨居荒郊野嶺守林人離奇死亡毫炉,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,550評論 2 333
  • 正文 我和宋清朗相戀三年费奸,在試婚紗的時候發(fā)現(xiàn)自己被綠了进陡。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 39,727評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡缨历,死狀恐怖辛孵,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情宝与,我是刑警寧澤冶匹,帶...
    沈念sama閱讀 35,428評論 5 343
  • 正文 年R本政府宣布嚼隘,位于F島的核電站,受9級特大地震影響飞蛹,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜豌汇,卻給世界環(huán)境...
    茶點故事閱讀 41,022評論 3 326
  • 文/蒙蒙 一泄隔、第九天 我趴在偏房一處隱蔽的房頂上張望宛徊。 院中可真熱鬧,春花似錦闸天、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,672評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至戚揭,卻和暖如春民晒,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背靴姿。 一陣腳步聲響...
    開封第一講書人閱讀 32,826評論 1 269
  • 我被黑心中介騙來泰國打工佛吓, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留恨旱,地道東北人搜贤。 一個月前我還...
    沈念sama閱讀 47,734評論 2 368
  • 正文 我出身青樓,卻偏偏與公主長得像唁影,于是被迫代替她去往敵國和親掂名。 傳聞我的和親對象是個殘疾皇子据沈,可洞房花燭夜當晚...
    茶點故事閱讀 44,619評論 2 354

推薦閱讀更多精彩內(nèi)容

  • 進程與線程的區(qū)別 現(xiàn)在,多核CPU已經(jīng)非常普及了锌介,但是,即使過去的單核CPU猾警,也可以執(zhí)行多任務。由于CPU執(zhí)行代碼...
    蘇糊閱讀 767評論 0 2
  • 多任務的實現(xiàn)有3種方式: 多進程模式发皿; 多線程模式崔慧; 多進程+多線程模式穴墅。 多進程 Unix/Linux操作系統(tǒng)提...
    WesleyLien閱讀 1,757評論 0 3
  • 轉自: http://www.liaoxuefeng.com/wiki/0014316089557264a6b34...
    放風箏的小小馬閱讀 232評論 0 0
  • A我今天學了什么 1版本控制 B我掌握了什么 1版本控制 C我不會什么
    Rosemarry丶閱讀 151評論 0 0
  • 春暖花開百花俏惶室,春分時節(jié)競妖嬈 祝賀合一中國-首次現(xiàn)象與禮物的生命盛宴,今天在北上廣深玄货,蘇杭州六城市,同時圓滿結束...
    和蔓閱讀 1,528評論 2 2