Python編程之進(jìn)程總結(jié)

進(jìn)程是線程的集合酥馍,每個(gè)進(jìn)程至少有一個(gè)主線程,進(jìn)程是在系統(tǒng)中起資源調(diào)度的作用板熊,進(jìn)程分配資源和管理數(shù)據(jù)框全,程序的執(zhí)行都是有線程執(zhí)行的。進(jìn)程和線程的執(zhí)行差不多干签,也是由時(shí)間片根據(jù)并發(fā)機(jī)制執(zhí)行的津辩。Python中關(guān)于進(jìn)程的內(nèi)建模塊multiprocessing,通過(guò)模塊的Process類型,可以創(chuàng)建多個(gè)進(jìn)程容劳。
Lock/RLock喘沿,互斥鎖/重用鎖,進(jìn)程鎖類型竭贩、Event事件類型蚜印,Condition條件類型可以很方便的完成進(jìn)程間的同步操作。Queue進(jìn)程隊(duì)列類型留量,用于多進(jìn)程的數(shù)據(jù)共享窄赋。Listener/Client 進(jìn)程監(jiān)聽(tīng)哟冬,基于網(wǎng)絡(luò)多進(jìn)程間的數(shù)據(jù)共享。多進(jìn)程面向?qū)ο蟮膶?shí)現(xiàn)和多線程的操作類似寝凌。自定義進(jìn)程類型柒傻,繼承系統(tǒng)進(jìn)程比哦準(zhǔn)類型multiprocessing.Process,重寫父類的run()方法较木,之方法中執(zhí)行代碼。在使用時(shí)創(chuàng)建該自定義進(jìn)程類型的對(duì)象青柄,
進(jìn)程池:包含多個(gè)進(jìn)程的池塘伐债;包含并且管理多個(gè)進(jìn)程的一個(gè)對(duì)象Pool
init(num) 初始化函數(shù),用于創(chuàng)建一個(gè)進(jìn)程池
apply(function, args) 同步執(zhí)行一個(gè)函數(shù)~當(dāng)進(jìn)程中的函數(shù)執(zhí)行完成才能退出
apply_async(function, args) 異步非阻塞執(zhí)行一個(gè)函數(shù)
close()停止向進(jìn)程池提交任務(wù)
join()讓進(jìn)程池工作完成致开,才能允許其他進(jìn)程繼續(xù)工作

import multiprocessing, time, os
def my_proc():
    print(multiprocessing.current_process().name, "一個(gè)進(jìn)程正在工作", os.getppid(), os.getpid())
    time.sleep(1)
if __name__ == "__main__":
    # 創(chuàng)建一個(gè)進(jìn)程池
    pool = multiprocessing.Pool(2
    # 循環(huán)任務(wù)
    for i in range(20):
        pool.apply_async(my_proc)
    # 停止提交任務(wù)
    pool.close()
    # 獨(dú)占執(zhí)行
    pool.join()

現(xiàn)在有一個(gè)問(wèn)題峰锁,在進(jìn)程中,操作變量數(shù)據(jù)是共享的嗎双戳。操作的變量數(shù)據(jù)都是獨(dú)立的每個(gè)程序在操作系統(tǒng)數(shù)據(jù)的時(shí)候都會(huì)先將數(shù)據(jù)復(fù)制一下然后再操作復(fù)制的數(shù)據(jù)虹蒋,系統(tǒng)內(nèi)的數(shù)據(jù)并沒(méi)有改變。所以進(jìn)程之間的數(shù)據(jù)都是相互獨(dú)立的飒货!

問(wèn)題:進(jìn)程中魄衅,操作變量數(shù)據(jù),是共享的嗎塘辅?No 獨(dú)立的

from multiprocessing import current_process, Process
import time

全局變量:可以被多個(gè)進(jìn)程共享嗎晃虫?

ticket = 3
def my_proc():
    # 1. 多個(gè)進(jìn)程,能不能都讀取到全局變量的值扣墩?True
    # for i in range(ticket):
    #     print(current_process().name, ":", i)
    # 2. 多個(gè)進(jìn)程哲银,使用的同一個(gè)全局變量的值,是共享的嗎呻惕?
    global ticket
    while ticket > 0:
        print(current_process().name, ": " , ticket)
        ticket -= 1

3. 函數(shù)參數(shù)處理

#def my_proc(t):
    # while t > 0:
    #     print(current_process().name, ": ", t)
    #     t -= 1

if __name__ == "__main__":
    # 創(chuàng)建兩個(gè)進(jìn)程
    p1 = Process(target=my_proc)
    p2 = Process(target=my_proc)
    # p1 = Process(target=my_proc, args=(ticket,))
    # p2 = Process(target=my_proc, args=(ticket,))

    # 啟動(dòng)進(jìn)程
    p1.start()
    p2.start()

    time.sleep(5)
    print(ticket)

問(wèn)題:進(jìn)程之間怎么完成數(shù)據(jù)共享|通信
import multiprocessing

解決方案1:通過(guò)第三方的東西進(jìn)行交互
# A進(jìn)程將數(shù)據(jù)存儲(chǔ)到文件|數(shù)據(jù)庫(kù)中
# B進(jìn)程從文件|數(shù)據(jù)庫(kù)中讀取數(shù)據(jù)
# 文件|數(shù)據(jù)庫(kù)是獨(dú)立于A和B進(jìn)程之外的第三方荆责,能被A/B同時(shí)訪問(wèn)

解決方案2:通過(guò)第三方、獨(dú)立于進(jìn)程你之外的數(shù)據(jù)類型完成進(jìn)程之間的通信
答案:可以亚脆!
python提供了如下幾種方案

  1. 事件對(duì)象multiprocessing.Event-進(jìn)程之間的狀態(tài)標(biāo)記通信
    '''
    threading.Event
    multiprocessing.Event
    '''
    event = multiprocessing.Event()
    2.multiprocessing模塊中提供了條件類型Condition做院,可以完成多個(gè)進(jìn)程之間的通信操作
    '''
    threading.Condition
    multiprocessing.Condition
    'acquire', 'notify', 'notify_all', 'release', 'wait', 'wait_for'
    '''

3.multiprocessing模塊中提供了一個(gè)數(shù)據(jù)操作類型Queue,可以完成進(jìn)程之間的數(shù)據(jù)簡(jiǎn)單共享
不推薦使用
'''
threading: queue.Queue隊(duì)列實(shí)現(xiàn)線程間數(shù)據(jù)的安全共享
multiprocessing.Queue 進(jìn)程隊(duì)列

get()從隊(duì)列中獲取數(shù)據(jù)
get_nowait()從隊(duì)列中獲取數(shù)據(jù)型酥,非阻塞
put()向隊(duì)列中添加數(shù)據(jù)
put_nowait()向隊(duì)列中添加數(shù)據(jù)山憨,非阻塞
empty()判斷隊(duì)列是否為空
full()判斷隊(duì)列是否已滿
qsize()獲取隊(duì)列中元素的個(gè)數(shù)
'''
4.multiprocessing提供了一個(gè)專門用來(lái)進(jìn)行多個(gè)進(jìn)程之間數(shù)據(jù)共享的類型:Manager
可以在本地多個(gè)進(jìn)程之間完成數(shù)據(jù)共享和通信,可以在網(wǎng)絡(luò)上遠(yuǎn)程的兩個(gè)主機(jī)之間實(shí)現(xiàn)數(shù)據(jù)的共享和通信弥喉,可以在網(wǎng)絡(luò)上遠(yuǎn)程的兩個(gè)主機(jī)之間
'''
用于數(shù)據(jù)共享:存儲(chǔ)數(shù)據(jù)
Array:數(shù)組
Queue:列表
list:用于創(chuàng)建一個(gè)存儲(chǔ)數(shù)據(jù)的列表
ticket_box = multiprocessing.Manager.list()
dict:用于創(chuàng)建一個(gè)存儲(chǔ)數(shù)據(jù)的字典
ticket_box = multiprocessing.Manager.dict()
Value:用于創(chuàng)建一個(gè)存儲(chǔ)數(shù)據(jù)的變量
ticket = multiprocessing.Manager.Value('count', 100)

type a:
manager = Manager()
my_list = manager.list()
my_dict = manager.dict()
my_value= manager.Value('count', 100)

type b:
with Manager() as manager:
my_list = manager.list()
my_dict = manager.dict()
my_value= manager.Value('count', 100)

數(shù)據(jù)通信進(jìn)程管理:
Lock/RLock:進(jìn)程鎖
Barrir:進(jìn)程同步對(duì)象
Semaphore|BoundedSemaphore:信號(hào)量進(jìn)程同步類型
Event:事件類型
Condition:條件類型
Pool:進(jìn)程池類型

'''

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末郁竟,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子由境,更是在濱河造成了極大的恐慌棚亩,老刑警劉巖蓖议,帶你破解...
    沈念sama閱讀 217,734評(píng)論 6 505
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異讥蟆,居然都是意外死亡勒虾,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,931評(píng)論 3 394
  • 文/潘曉璐 我一進(jìn)店門瘸彤,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)修然,“玉大人,你說(shuō)我怎么就攤上這事质况°邓危” “怎么了?”我有些...
    開封第一講書人閱讀 164,133評(píng)論 0 354
  • 文/不壞的土叔 我叫張陵结榄,是天一觀的道長(zhǎng)中贝。 經(jīng)常有香客問(wèn)我,道長(zhǎng)臼朗,這世上最難降的妖魔是什么邻寿? 我笑而不...
    開封第一講書人閱讀 58,532評(píng)論 1 293
  • 正文 為了忘掉前任,我火速辦了婚禮视哑,結(jié)果婚禮上绣否,老公的妹妹穿的比我還像新娘。我一直安慰自己黎炉,他們只是感情好枝秤,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,585評(píng)論 6 392
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著慷嗜,像睡著了一般淀弹。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上庆械,一...
    開封第一講書人閱讀 51,462評(píng)論 1 302
  • 那天薇溃,我揣著相機(jī)與錄音,去河邊找鬼缭乘。 笑死沐序,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的堕绩。 我是一名探鬼主播策幼,決...
    沈念sama閱讀 40,262評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼奴紧!你這毒婦竟也來(lái)了特姐?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,153評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤黍氮,失蹤者是張志新(化名)和其女友劉穎唐含,沒(méi)想到半個(gè)月后浅浮,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,587評(píng)論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡捷枯,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,792評(píng)論 3 336
  • 正文 我和宋清朗相戀三年滚秩,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片淮捆。...
    茶點(diǎn)故事閱讀 39,919評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡郁油,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出争剿,到底是詐尸還是另有隱情已艰,我是刑警寧澤,帶...
    沈念sama閱讀 35,635評(píng)論 5 345
  • 正文 年R本政府宣布蚕苇,位于F島的核電站,受9級(jí)特大地震影響凿叠,放射性物質(zhì)發(fā)生泄漏涩笤。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,237評(píng)論 3 329
  • 文/蒙蒙 一盒件、第九天 我趴在偏房一處隱蔽的房頂上張望蹬碧。 院中可真熱鬧,春花似錦炒刁、人聲如沸恩沽。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,855評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)罗心。三九已至,卻和暖如春城瞎,著一層夾襖步出監(jiān)牢的瞬間渤闷,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 32,983評(píng)論 1 269
  • 我被黑心中介騙來(lái)泰國(guó)打工脖镀, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留飒箭,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 48,048評(píng)論 3 370
  • 正文 我出身青樓蜒灰,卻偏偏與公主長(zhǎng)得像弦蹂,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子强窖,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,864評(píng)論 2 354

推薦閱讀更多精彩內(nèi)容

  • 必備的理論基礎(chǔ) 1.操作系統(tǒng)作用: 隱藏丑陋復(fù)雜的硬件接口凸椿,提供良好的抽象接口。 管理調(diào)度進(jìn)程毕骡,并將多個(gè)進(jìn)程對(duì)硬件...
    drfung閱讀 3,541評(píng)論 0 5
  • 一. 操作系統(tǒng)概念 操作系統(tǒng)位于底層硬件與應(yīng)用軟件之間的一層.工作方式: 向下管理硬件,向上提供接口.操作系統(tǒng)進(jìn)行...
    月亮是我踢彎得閱讀 5,967評(píng)論 3 28
  • Python 3的多進(jìn)程 多進(jìn)程庫(kù)名叫multiprocessing削饵。有幾點(diǎn)記錄一下: multiprocessi...
    小溫侯閱讀 3,336評(píng)論 0 2
  • 寫在前面的話 代碼中的# > 表示的是輸出結(jié)果 輸入 使用input()函數(shù) 用法 注意input函數(shù)輸出的均是字...
    FlyingLittlePG閱讀 2,756評(píng)論 0 8
  • 喜歡上了寂靜的雪天岩瘦,是因?yàn)樾臒o(wú)雜念的在思念你。窿撬。启昧。思念你的時(shí)候,想聽(tīng)到你的聲音劈伴,你只是在手機(jī)里密末;牽掛你的時(shí)候 ,想...
    yzwjjx閱讀 141評(píng)論 0 0