Python中的多進(jìn)程—進(jìn)程通信(pipe和queue)

進(jìn)程之間有很多通信的方式导而,除了socket献雅,還有pipe和queue。

pipe
#encoding:utf-8
import multiprocessing

def proc1(pipe):
    pipe.send("hello")
    print ("proc 1 : ",pipe.recv())

def proc2(pipe):
    print ("proc 2 : ",pipe.recv())
    pipe.send("hello ,too")

#創(chuàng)建一個(gè)管道 這個(gè)管道是雙向的
pipe=multiprocessing.Pipe()

#pipe[0] 表示管道的一端占锯,pipe[1] 表示管道的另外一端
#對pipe的某一端調(diào)用send方法來傳送對象袒哥,在另外一端使用recv來接收
p1=multiprocessing.Process(target=proc1,args=(pipe[0],))
p2=multiprocessing.Process(target=proc2,args=(pipe[1],))


p1.start()
p2.start()

p1.join()
p1.join()
queue
#encoding:utf-8
import multiprocessing
import time
import os

def inputq(queue):
    info=str(+os.getpid())+ ' put : '+str(time.ctime())
    queue.put(info)
    time.sleep(2)
    info=queue.get()
    print (info)

def outputq(queue):
    info=queue.get()
    print (info)
    queue.put(str(time.ctime()))
   


queue=multiprocessing.Queue(10)

p1=multiprocessing.Process(target=inputq,args=(queue,))
p2=multiprocessing.Process(target=outputq,args=(queue,))

p1.start()
p2.start()

p1.join()
p2.join()
順便提一下,兩個(gè)進(jìn)程的去訪問一個(gè)全局變量的情況

在python里面創(chuàng)建兩個(gè)進(jìn)程消略,兩個(gè)進(jìn)程同時(shí)去訪問堡称,修改一個(gè)全局變量i∫昭荩看看這兩個(gè)進(jìn)程其中一個(gè)進(jìn)程修改全局變量i却紧,另外一個(gè)進(jìn)程去訪問變量,看看這個(gè)變量是否被修改胎撤。

執(zhí)行如下代碼:

from time import sleep,ctime
from multiprocessing import Process

i=100
def proc1():
    global i
    count=1
    while True:
        print ('proc1 >>',i)
        i=i+2
        sleep(1)
        if count==5:
            break
        count=count+1

def proc2():
    global i
    count=1
    while True:
        print ('proc2 >>>>>>>>',i)
        i=i-3
        sleep(1)
        if count==5:
            break
        count=count+1

print ("start")
p1=Process(target=proc1)
p2=Process(target=proc2)
p1.start()
p2.start()

p1.join()
p2.join()

print ("end")

看一下運(yùn)行結(jié)果:


image.png

可以看到晓殊,一個(gè)進(jìn)程修改全變變量,另外一個(gè)進(jìn)程根本不會(huì)影響伤提。
對這個(gè)問題的回答挺物,就要涉及到進(jìn)程的內(nèi)存模型了,每個(gè)進(jìn)程的內(nèi)存空間都是獨(dú)立的飘弧,都是4G,每個(gè)內(nèi)存空間都是獨(dú)立的砚著,有自己的代碼段次伶,數(shù)據(jù)段,堆稽穆,棧等冠王。所以,一個(gè)進(jìn)程更改變量舌镶,另外一個(gè)進(jìn)程根本不會(huì)受到影響柱彻。


demo4,5

下面的要講的是,進(jìn)程的通信的方式餐胀,比如隊(duì)列queue和pipe來實(shí)現(xiàn)進(jìn)程通信哟楷。

關(guān)于queue,有一個(gè)是線程安全的否灾,有一個(gè)是線程不安全的卖擅。

1.from Queue import Queue
這個(gè)是普通的隊(duì)列模式,類似于普通列表,先進(jìn)先出模式惩阶,get方法會(huì)阻塞請求挎狸,直到有數(shù)據(jù)get出來為止
2.from multiprocessing.Queue import Queue
這個(gè)是多進(jìn)程并發(fā)的Queue隊(duì)列,用于解決多進(jìn)程間的通信問題断楷。普通Queue實(shí)現(xiàn)不了锨匆。
例如來跑多進(jìn)程對一批IP列表進(jìn)行運(yùn)算,運(yùn)算后的結(jié)果都存到Queue隊(duì)列里面冬筒,這個(gè)就必須使用multiprocessing提供的Queue來實(shí)現(xiàn)

舉個(gè)例子:

#import Queue
from time import sleep,ctime
from multiprocessing import Process,Queue

def pro1(q):
    while True:
        val=q.get(True)
        print '>>>>in por1:',val

def pro2(q):
    while True:
        val=q.get(True)
        print 'in por2:',val

q=Queue()
for i in range(101):
    q.put(i)
print 'start : ',ctime()
p1=Process(target=pro1,args=(q,))
p2=Process(target=pro2,args=(q,))
p1.start()
p2.start()

sleep(20)
print 'end : ',ctime()
pr.terminate()

運(yùn)行結(jié)果:


image.png

分析運(yùn)行結(jié)果恐锣,這是一個(gè)進(jìn)程安全的隊(duì)列,如果隊(duì)列里面存放這個(gè)0-29账千,如果這個(gè)數(shù)字被進(jìn)程pro1 被get侥蒙,那么這個(gè)數(shù)字就不在了。所以匀奏,0-29只會(huì)被print一次鞭衩。

下面再舉一個(gè)普通queue的例子,代碼如下:

#coding:utf-8
import Queue
from time import sleep,ctime
#from multiprocessing import Queue
from multiprocessing import Process


def pro1(q):
    while True:
        val=q.get(True)
        print '>>>>in por1:',val

def pro2(q):
    while True:
        val=q.get(True)
        print 'in por2:',val

#如果頭文件是import Queue
q=Queue.Queue()

#如果頭文件是from multiprocessing import Queue 娃善,那執(zhí)行
#q=Queue()

for i in range(20):
    q.put(i)
print 'start : ',ctime()
p1=Process(target=pro1,args=(q,))
p2=Process(target=pro2,args=(q,))
p1.start()
p2.start()

sleep(20)
print 'end : ',ctime()
pr.terminate()

運(yùn)行結(jié)果:


image.png

普通隊(duì)列论衍,兩個(gè)進(jìn)程都會(huì)把隊(duì)列里面的數(shù)字各打印一次,線程安全的隊(duì)列只是打印一次。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末聚磺,一起剝皮案震驚了整個(gè)濱河市坯台,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌瘫寝,老刑警劉巖蜒蕾,帶你破解...
    沈念sama閱讀 211,743評論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異焕阿,居然都是意外死亡咪啡,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,296評論 3 385
  • 文/潘曉璐 我一進(jìn)店門暮屡,熙熙樓的掌柜王于貴愁眉苦臉地迎上來撤摸,“玉大人,你說我怎么就攤上這事褒纲∽家模” “怎么了?”我有些...
    開封第一講書人閱讀 157,285評論 0 348
  • 文/不壞的土叔 我叫張陵莺掠,是天一觀的道長衫嵌。 經(jīng)常有香客問我,道長彻秆,這世上最難降的妖魔是什么渐扮? 我笑而不...
    開封第一講書人閱讀 56,485評論 1 283
  • 正文 為了忘掉前任论悴,我火速辦了婚禮,結(jié)果婚禮上墓律,老公的妹妹穿的比我還像新娘膀估。我一直安慰自己,他們只是感情好耻讽,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,581評論 6 386
  • 文/花漫 我一把揭開白布察纯。 她就那樣靜靜地躺著,像睡著了一般针肥。 火紅的嫁衣襯著肌膚如雪饼记。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,821評論 1 290
  • 那天慰枕,我揣著相機(jī)與錄音具则,去河邊找鬼。 笑死具帮,一個(gè)胖子當(dāng)著我的面吹牛博肋,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播蜂厅,決...
    沈念sama閱讀 38,960評論 3 408
  • 文/蒼蘭香墨 我猛地睜開眼匪凡,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了掘猿?” 一聲冷哼從身側(cè)響起病游,我...
    開封第一講書人閱讀 37,719評論 0 266
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎稠通,沒想到半個(gè)月后衬衬,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 44,186評論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡改橘,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,516評論 2 327
  • 正文 我和宋清朗相戀三年滋尉,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片唧龄。...
    茶點(diǎn)故事閱讀 38,650評論 1 340
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖奸远,靈堂內(nèi)的尸體忽然破棺而出既棺,到底是詐尸還是另有隱情,我是刑警寧澤懒叛,帶...
    沈念sama閱讀 34,329評論 4 330
  • 正文 年R本政府宣布丸冕,位于F島的核電站,受9級特大地震影響薛窥,放射性物質(zhì)發(fā)生泄漏胖烛。R本人自食惡果不足惜眼姐,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,936評論 3 313
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望佩番。 院中可真熱鬧众旗,春花似錦、人聲如沸趟畏。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,757評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽赋秀。三九已至利朵,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間猎莲,已是汗流浹背绍弟。 一陣腳步聲響...
    開封第一講書人閱讀 31,991評論 1 266
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留著洼,地道東北人樟遣。 一個(gè)月前我還...
    沈念sama閱讀 46,370評論 2 360
  • 正文 我出身青樓,卻偏偏與公主長得像郭脂,于是被迫代替她去往敵國和親年碘。 傳聞我的和親對象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,527評論 2 349

推薦閱讀更多精彩內(nèi)容