Python協(xié)程深入理解

從語法上來看饥漫,協(xié)程和生成器類似,都是定義體中包含yield關(guān)鍵字的函數(shù)罗标。
yield在協(xié)程中的用法:
在協(xié)程中yield通常出現(xiàn)在表達(dá)式的右邊 庸队,例如:datum = yield,可以產(chǎn)出值,也可以不產(chǎn)出--如果yield關(guān)鍵字后面沒有表達(dá)式闯割,那么生成器產(chǎn)出None.
協(xié)程可能從調(diào)用方接受數(shù)據(jù)彻消,調(diào)用方是通過send(datum)的方式把數(shù)據(jù)提供給協(xié)程使用,而不是next(...)函數(shù)宙拉,通常調(diào)用方會(huì)把值推送給協(xié)程宾尚。
協(xié)程可以把控制器讓給中心調(diào)度程序,從而激活其他的協(xié)程
所以總體上在協(xié)程中把yield看做是控制流程的方式谢澈。

了解協(xié)程的過程

先通過一個(gè)簡(jiǎn)單的協(xié)程的例子理解:

對(duì)上述例子的分析:
yield 的右邊沒有表達(dá)式煌贴,所以這里默認(rèn)產(chǎn)出的值是None
剛開始先調(diào)用了next(...)是因?yàn)檫@個(gè)時(shí)候生成器還沒有啟動(dòng),沒有停在yield那里锥忿,這個(gè)時(shí)候也是無法通過send發(fā)送數(shù)據(jù)牛郑。所以當(dāng)我們通過 next(...)激活協(xié)程后 ,程序就會(huì)運(yùn)行到x = yield敬鬓,這里有個(gè)問題我們需要注意淹朋, x = yield這個(gè)表達(dá)式的計(jì)算過程是先計(jì)算等號(hào)右邊的內(nèi)容笙各,然后在進(jìn)行賦值,所以當(dāng)激活生成器后础芍,程序會(huì)停在yield這里杈抢,但并沒有給x賦值。
當(dāng)我們調(diào)用send方法后yield會(huì)收到這個(gè)值并賦值給x,而當(dāng)程序運(yùn)行到協(xié)程定義體的末尾時(shí)和用生成器的時(shí)候一樣會(huì)拋出StopIteration異常
如果協(xié)程沒有通過next(...)激活(同樣我們可以通過send(None)的方式激活)者甲,但是我們直接send春感,會(huì)提示如下錯(cuò)誤:


關(guān)于調(diào)用next(...)函數(shù)這一步通常稱為”預(yù)激(prime)“協(xié)程,即讓協(xié)程向前執(zhí)行到第一個(gè)yield表達(dá)式虏缸,準(zhǔn)備好作為活躍的協(xié)程使用
協(xié)程在運(yùn)行過程中有四個(gè)狀態(tài):
  1. GEN_CREATE:等待開始執(zhí)行
  2. GEN_RUNNING:解釋器正在執(zhí)行,這個(gè)狀態(tài)一般看不到
  3. GEN_SUSPENDED:在yield表達(dá)式處暫停
  4. GEN_CLOSED:執(zhí)行結(jié)束

通過下面例子來查看協(xié)程的狀態(tài):


接著再通過一個(gè)計(jì)算平均值的例子來繼續(xù)理解:


這里是一個(gè)死循環(huán)嫩实,只要不停send值給協(xié)程刽辙,可以一直計(jì)算下去。
通過上面的幾個(gè)例子我們發(fā)現(xiàn)甲献,我們?nèi)绻胍_始使用協(xié)程的時(shí)候必須通過next(...)方式激活協(xié)程宰缤,如果不預(yù)激,這個(gè)協(xié)程就無法使用晃洒,如果哪天在代碼中遺忘了那么就出問題了慨灭,所以有一種預(yù)激協(xié)程的裝飾器,可以幫助我們干這件事

預(yù)激協(xié)程的裝飾器

下面是預(yù)激裝飾器的演示例子:

1 from functools import wraps
 2 
 3 
 4 def coroutine(func):
 5     @wraps(func)
 6     def primer(*args,**kwargs):
 7         gen = func(*args,**kwargs)
 8         next(gen)
 9         return gen
10     return primer
11 
12 
13 @coroutine
14 def averager():
15     total = 0.0
16     count = 0
17     average = None
18     while True:
19         term = yield average
20         total += term
21         count += 1
22         average = total/count
23 
24 
25 coro_avg = averager()
26 from inspect import getgeneratorstate
27 print(getgeneratorstate(coro_avg))
28 print(coro_avg.send(10))
29 print(coro_avg.send(30))
30 print(coro_avg.send(5))

關(guān)于預(yù)激球及,在使用yield from句法調(diào)用協(xié)程的時(shí)候氧骤,會(huì)自動(dòng)預(yù)激活,這樣其實(shí)與我們上面定義的coroutine裝飾器是不兼容的吃引,在python3.4里面的asyncio.coroutine裝飾器不會(huì)預(yù)激協(xié)程筹陵,因此兼容yield from

終止協(xié)程和異常處理

協(xié)程中為處理的異常會(huì)向上冒泡,傳給next函數(shù)或send函數(shù)的調(diào)用方(即觸發(fā)協(xié)程的對(duì)象)
拿上面的代碼舉例子,如果我們發(fā)送了一個(gè)字符串而不是一個(gè)整數(shù)的時(shí)候就會(huì)報(bào)錯(cuò)镊尺,并且這個(gè)時(shí)候協(xié)程是被終止了


從python2.5開始客戶端代碼在生成器對(duì)象上調(diào)用兩個(gè)方法朦佩,顯示的把異常發(fā)送給協(xié)程
分別為: throw和close
generator.throw:會(huì)讓生成器在暫停的yield表達(dá)式處拋出指定的異常,如果生成器處理了拋出的異常庐氮,代碼會(huì)向前執(zhí)行到下一個(gè)yield表達(dá)式语稠,而產(chǎn)出的值會(huì)成為調(diào)用generator.throw方法代碼的返回值。如果生成器沒有處理拋出的異常弄砍,異常會(huì)向上冒泡仙畦,傳到調(diào)用方的上下文中。
generator.close:會(huì)讓生成器在暫停的yield表達(dá)式處拋出GeneratorExit異常输枯。如果生成器沒有處理這個(gè)異常议泵,或者拋出了StopIteration異常,調(diào)用方不會(huì)報(bào)錯(cuò)桃熄,如果收到GeneratorExit異常先口,生成器一定不能產(chǎn)出值型奥,否則解釋器會(huì)拋出RuntimeError異常。生成器拋出的異常會(huì)向上冒泡碉京,傳給調(diào)用方厢汹。
下面是一個(gè)例子:


當(dāng)傳入我們定義的異常時(shí)不會(huì)影響協(xié)程,協(xié)程不會(huì)停止谐宙,可以繼續(xù)send,但是如果是沒有處理的異常的時(shí)候烫葬,就會(huì)報(bào)錯(cuò),并且協(xié)程會(huì)被終止

讓協(xié)程返回值

通過下面的例子進(jìn)行演示如何獲取協(xié)程的返回值:

1 from collections import namedtuple
 2 
 3 
 4 Result = namedtuple("Result","colunt average")
 5 
 6 
 7 def averager():
 8     total = 0.0
 9     count = 0
10     average = None
11     while True:
12         term = yield
13         if term is None:
14             break
15         total += term
16         count+=1
17         average = total/count
18     return Result(count,average)
19 
20 coro_avg = averager()
21 next(coro_avg)
22 coro_avg.send(10)
23 coro_avg.send(30)
24 coro_avg.send(5)
25 try:
26     coro_avg.send(None)
27 except StopIteration as e:
28     result = e.value
29     print(result)

這樣就可以獲取到最后的結(jié)果:


其實(shí)相對(duì)來說上面這種方式獲取返回值比較麻煩凡蜻,而yield from 結(jié)構(gòu)會(huì)自動(dòng)捕獲StopIteration異常搭综,這種處理方式與for循環(huán)處理StopIteration異常的方式一樣,循環(huán)機(jī)制使我們更容易理解處理異常划栓,對(duì)于yield from來說兑巾,解釋器不僅會(huì)捕獲StopIteration異常,還會(huì)把value屬性的值變成yield from表達(dá)式的值

關(guān)于yield from

在生成器gen中使用yield from subgen()時(shí)忠荞,subgen會(huì)獲得控制權(quán)蒋歌,把產(chǎn)出的值傳給gen的調(diào)用方,即調(diào)用方可以直接控制subgen,同時(shí)委煤,gen會(huì)阻塞堂油,等待subgen終止
yield from x表達(dá)式對(duì)x對(duì)象所做的第一件事是,調(diào)用iter(x),從中獲取迭代器碧绞,因此x可以是任何可迭代的對(duì)象
下面是yield from可以簡(jiǎn)化yield表達(dá)式的例子:

1 def gen():
 2     for c in "AB":
 3         yield c
 4     for i in range(1,3):
 5         yield i
 6 
 7 print(list(gen()))
 8 
 9 def gen2():
10     yield from "AB"
11     yield from range(1,3)
12 
13 print(list(gen2()))

這兩種的方式的結(jié)果是一樣的府框,但是這樣看來yield from更加簡(jiǎn)潔,但是yield from的作用可不僅僅是替代產(chǎn)出值的嵌套for循環(huán)头遭。
yield from的主要功能是打開雙向通道寓免,把最外層的調(diào)用方與最內(nèi)層的子生成器連接起來,這樣二者可以直接發(fā)送和產(chǎn)出值计维,還可以直接傳入異常袜香,而不用再像之前那樣在位于中間的協(xié)程中添加大量處理異常的代碼
通過yield from還可以鏈接可迭代對(duì)象


委派生成器在yield from 表達(dá)式處暫停時(shí),調(diào)用方可以直接把數(shù)據(jù)發(fā)給子生成器鲫惶,子生成器再把產(chǎn)出產(chǎn)出值發(fā)給調(diào)用方蜈首,子生成器返回之后,解釋器會(huì)拋出StopIteration異常欠母,并把返回值附加到異常對(duì)象上欢策,此時(shí)委派生成器會(huì)恢復(fù)。
下面是一個(gè)完整的例子代碼

1 from collections import namedtuple
 2 
 3 
 4 Result = namedtuple('Result', 'count average')
 5 
 6 
 7 # 子生成器
 8 def averager():
 9     total = 0.0
10     count = 0
11     average = None
12     while True:
13         term = yield
14         if term is None:
15             break
16         total += term
17         count += 1
18         average = total/count
19     return Result(count, average)
20 
21 
22 # 委派生成器
23 def grouper(result, key):
24     while True:
25         result[key] = yield from averager()
26 
27 
28 # 客戶端代碼赏淌,即調(diào)用方
29 def main(data):
30     results = {}
31     for key,values in data.items():
32         group = grouper(results,key)
33         next(group)
34         for value in values:
35             group.send(value)
36         group.send(None) #這里表示要終止了
37 
38     report(results)
39 
40 
41 # 輸出報(bào)告
42 def report(results):
43     for key, result in sorted(results.items()):
44         group, unit = key.split(';')
45         print('{:2} {:5} averaging {:.2f}{}'.format(
46             result.count, group, result.average, unit
47         ))
48 
49 data = {
50     'girls;kg':
51         [40.9, 38.5, 44.3, 42.2, 45.2, 41.7, 44.5, 38.0, 40.6, 44.5],
52     'girls;m':
53         [1.6, 1.51, 1.4, 1.3, 1.41, 1.39, 1.33, 1.46, 1.45, 1.43],
54     'boys;kg':
55         [39.0, 40.8, 43.2, 40.8, 43.1, 38.6, 41.4, 40.6, 36.3],
56     'boys;m':
57         [1.38, 1.5, 1.32, 1.25, 1.37, 1.48, 1.25, 1.49, 1.46],
58 }
59 
60 
61 if __name__ == '__main__':
62     main(data)

關(guān)于上述代碼著重解釋一下關(guān)于委派生成器部分踩寇,這里的循環(huán)每次迭代時(shí)會(huì)新建一個(gè)averager實(shí)例,每個(gè)實(shí)例都是作為協(xié)程使用的生成器對(duì)象六水。
grouper發(fā)送的每個(gè)值都會(huì)經(jīng)由yield from處理俺孙,通過管道傳給averager實(shí)例辣卒。grouper會(huì)在yield from表達(dá)式處暫停,等待averager實(shí)例處理客戶端發(fā)來的值睛榄。averager實(shí)例運(yùn)行完畢后荣茫,返回的值會(huì)綁定到results[key]上,while 循環(huán)會(huì)不斷創(chuàng)建averager實(shí)例场靴,處理更多的值
并且上述代碼中的子生成器可以使用return 返回一個(gè)值啡莉,而返回的值會(huì)成為yield from表達(dá)式的值。

關(guān)于yield from的意義

關(guān)于yield from 六點(diǎn)重要的說明:

  1. 子生成器產(chǎn)出的值都直接傳給委派生成器的調(diào)用方(即客戶端代碼)
  2. 使用send()方法發(fā)送給委派生成器的值都直接傳給子生成器旨剥。如果發(fā)送的值為None,那么會(huì)給委派調(diào)用子生成器的next()方法咧欣。如果發(fā)送的值不是None,那么會(huì)調(diào)用子生成器的send方法,如果調(diào)用的方法拋出StopIteration異常泞边,那么委派生成器恢復(fù)運(yùn)行该押,任何其他異常都會(huì)向上冒泡,傳給委派生成器
  3. 生成器退出時(shí)阵谚,生成器(或子生成器)中的return expr表達(dá)式會(huì)出發(fā)StopIteration(expr)異常拋出
  4. yield from表達(dá)式的值是子生成器終止時(shí)傳給StopIteration異常的第一個(gè)參數(shù)。yield from 結(jié)構(gòu)的另外兩個(gè)特性與異常和終止有關(guān)烟具。
  5. 傳入委派生成器的異常梢什,除了GeneratorExit之外都傳給子生成器的throw()方法。如果調(diào)用throw()方法時(shí)拋出StopIteration異常朝聋,委派生成器恢復(fù)運(yùn)行嗡午。StopIteration之外的異常會(huì)向上冒泡,傳給委派生成器
  6. 如果把GeneratorExit異常傳入委派生成器冀痕,或者在委派生成器上調(diào)用close()方法荔睹,那么在子生成器上調(diào)用clsoe()方法,如果它有的話言蛇。如果調(diào)用close()方法導(dǎo)致異常拋出僻他,那么異常會(huì)向上冒泡,傳給委派生成器腊尚,否則委派生成器拋出GeneratorExit異常
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末吨拗,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子婿斥,更是在濱河造成了極大的恐慌劝篷,老刑警劉巖,帶你破解...
    沈念sama閱讀 222,104評(píng)論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件民宿,死亡現(xiàn)場(chǎng)離奇詭異娇妓,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)活鹰,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,816評(píng)論 3 399
  • 文/潘曉璐 我一進(jìn)店門哈恰,熙熙樓的掌柜王于貴愁眉苦臉地迎上來只估,“玉大人,你說我怎么就攤上這事蕊蝗〗雠遥” “怎么了?”我有些...
    開封第一講書人閱讀 168,697評(píng)論 0 360
  • 文/不壞的土叔 我叫張陵蓬戚,是天一觀的道長(zhǎng)夸楣。 經(jīng)常有香客問我,道長(zhǎng)子漩,這世上最難降的妖魔是什么豫喧? 我笑而不...
    開封第一講書人閱讀 59,836評(píng)論 1 298
  • 正文 為了忘掉前任,我火速辦了婚禮幢泼,結(jié)果婚禮上紧显,老公的妹妹穿的比我還像新娘。我一直安慰自己缕棵,他們只是感情好孵班,可當(dāng)我...
    茶點(diǎn)故事閱讀 68,851評(píng)論 6 397
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著招驴,像睡著了一般篙程。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上别厘,一...
    開封第一講書人閱讀 52,441評(píng)論 1 310
  • 那天虱饿,我揣著相機(jī)與錄音,去河邊找鬼触趴。 笑死氮发,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的冗懦。 我是一名探鬼主播爽冕,決...
    沈念sama閱讀 40,992評(píng)論 3 421
  • 文/蒼蘭香墨 我猛地睜開眼,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼批狐!你這毒婦竟也來了扇售?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,899評(píng)論 0 276
  • 序言:老撾萬榮一對(duì)情侶失蹤嚣艇,失蹤者是張志新(化名)和其女友劉穎承冰,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體食零,經(jīng)...
    沈念sama閱讀 46,457評(píng)論 1 318
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡困乒,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,529評(píng)論 3 341
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了贰谣。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片娜搂。...
    茶點(diǎn)故事閱讀 40,664評(píng)論 1 352
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡迁霎,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出百宇,到底是詐尸還是另有隱情考廉,我是刑警寧澤,帶...
    沈念sama閱讀 36,346評(píng)論 5 350
  • 正文 年R本政府宣布携御,位于F島的核電站昌粤,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏啄刹。R本人自食惡果不足惜涮坐,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 42,025評(píng)論 3 334
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望誓军。 院中可真熱鬧袱讹,春花似錦、人聲如沸昵时。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,511評(píng)論 0 24
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽壹甥。三九已至非区,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間盹廷,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,611評(píng)論 1 272
  • 我被黑心中介騙來泰國(guó)打工久橙, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留俄占,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 49,081評(píng)論 3 377
  • 正文 我出身青樓淆衷,卻偏偏與公主長(zhǎng)得像缸榄,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子祝拯,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,675評(píng)論 2 359

推薦閱讀更多精彩內(nèi)容