python coroutines(協(xié)程)

協(xié)程和生成器很像但還是有些許的不同毙石,主要的不同之處在于:

生成器是數(shù)據(jù)生產(chǎn)者
協(xié)程是數(shù)據(jù)消費(fèi)者

首先再看一下生成器

def fib():
    a, b = 0, 1
    while True:
        yield a
        a, b = b, a+b

然后可以使用for循環(huán)遍歷

for i in fib():
    print(i)

它是快速的具则,不會(huì)給內(nèi)存帶來很多壓力因?yàn)樗鼤?huì)動(dòng)態(tài)生成值而不是將它們存儲(chǔ)在列表中,現(xiàn)在拌阴,如果我們?cè)谏厦娴睦又惺褂脃ield毡代,通常位岔,就是一個(gè)協(xié)程站蝠。協(xié)程使用傳給它的值。一個(gè)基本的例子如下:

def grep(pattern):
    print("Searching for", pattern)
    while True:
        line = (yield)
        if pattern in line:
            print(line)

可以看到,協(xié)程中yield語句的形式物独。它不包含任何初始值,而是由我們額外提供汗洒。我們可以使用send方法來提供值給它议纯。下面是個(gè)簡(jiǎn)單的例子:

def grep(pattern):
    print("Searching for", pattern)
    while True:
        line = (yield)
        if pattern in line:
            print(line)

if __name__ == '__main__':
    search = grep("cornator")
    next(search) #output: ('Searching for', 'cornator')
    search.send("I love px!")
    search.send("I love px!")
    search.send("I love px, cornator!") # output: I love px, cornator!

發(fā)送的值通過yield訪問。使用next()方法的原因是溢谤,運(yùn)行協(xié)程需要使用它瞻凤。就像生成器憨攒,協(xié)程不會(huì)自動(dòng)運(yùn)行。而是作為next()和.send()方法的響應(yīng)來運(yùn)行它阀参。因此肝集,你需要運(yùn)行next()來執(zhí)行到y(tǒng)ield表達(dá)式。
再看一例:

def averager():
    total = 0.0
    count = 0
    average = None
    while True: 
        term = yield average 
        total += term
        count += 1
        average = total/count

使用方法

>>> coro_avg = averager()
>>> next(coro_avg)
>>> coro_avg.send(10)
10.0
>>> coro_avg.send(30)
20.0
>>> coro_avg.send(5)
15.0

創(chuàng)建協(xié)程對(duì)象,調(diào)用 next 函數(shù)蛛壳,預(yù)激協(xié)程.由于我們?cè)谑褂脜f(xié)程之前都必須激活協(xié)程杏瞻,所以,我們通逞眉觯可以寫一個(gè)裝飾器捞挥,專門用于預(yù)激協(xié)程:

from functools import wraps
def coroutine(func):
    """裝飾器:向前執(zhí)行到第一個(gè)`yield`表達(dá)式,預(yù)激`func`"""
    @wraps(func)
    def primer(*args,**kwargs):
        gen = func(*args,**kwargs)
        next(gen)
        return gen
    return primer

這樣我們就可以使用它了忧吟,使用方法如下:

from coroutil import coroutine  #這里就是我們實(shí)現(xiàn)的裝飾器函數(shù)
@coroutine
def averager():
    total = 0.0
    count = 0
    average = None
    while True:
        term = yield average
        total += term
        count += 1
        average = total/count

我們?cè)偈褂迷摵瘮?shù)的時(shí)候就不用調(diào)用next方法了砌函,而是直接使用。

coro_avg = averager()
coro_avg.send(10)
coro_avg.send(30)

順便說一下yield from語法:
yield from x 表達(dá)式對(duì)x對(duì)象所做的第一件事就是調(diào)用iter(x),從中獲取迭代器溜族,因此讹俊,x可以是任何可迭代的對(duì)象。yield from的主要功能是打開雙向通道煌抒,把最外面的調(diào)用方與最內(nèi)層的子生成器連接起來仍劈,這樣二者就可以直接發(fā)送和產(chǎn)出值,還可以直接傳入異常寡壮。而不是在位于中間的協(xié)程中添加大量的處理異常的樣板代碼贩疙。有了這個(gè)結(jié)構(gòu),協(xié)程可以通過以前不可能的方式委托職責(zé)诬像。
yield from 幾大特征:

  • 子生成器產(chǎn)出的值都直接傳給委派生成器的調(diào)用方(即客戶端代碼)屋群。
  • 使用 send() 方法發(fā)給委派生成器的值都直接傳給子生成器。如果發(fā)送的值是None坏挠,那么會(huì)調(diào)用子生成器的 next() 方法芍躏。如果發(fā)送的值不是 None,那么會(huì)調(diào)用子生成器的 send() 方法降狠。如果調(diào)用的方法拋出StopIteration 異常对竣,那么委派生成器恢復(fù)運(yùn)行。任何其他異常都會(huì)向上冒泡榜配,傳給委派生成器否纬。
  • 生成器退出時(shí),生成器(或子生成器)中的 return expr 表達(dá)式會(huì)觸發(fā)StopIteration(expr) 異常拋出蛋褥。
  • yield from 表達(dá)式的值是子生成器終止時(shí)傳給 StopIteration 異常的第一個(gè)參數(shù)临燃。
  • 傳入委派生成器的異常,除了 GeneratorExit 之外都傳給子生成器的 throw() 方法。如果調(diào)用 throw() 方法時(shí)拋出 StopIteration 異常膜廊,委派生成器恢復(fù)運(yùn)行乏沸。StopIteration 之外的異常會(huì)向上冒泡,傳給委派生成器爪瓜。
  • 如果把 GeneratorExit 異常傳入委派生成器蹬跃,或者在委派生成器上調(diào)用 close() 方法,那么在子生成器上調(diào)用 close() 方法铆铆,如果它有的話蝶缀。如果調(diào)用 close() 方法導(dǎo)致異常拋出,那么異常會(huì)向上冒泡薄货,傳給委派生成器翁都;否則,委派生成器拋出GeneratorExit 異常菲驴。

我們可以關(guān)閉協(xié)程通過調(diào)用.close()方法荐吵。
python3,中,協(xié)程可以使用asyncio模塊實(shí)現(xiàn)赊瞬,通過asnc def 聲明語句或者使用生成器。async def 類型協(xié)程是在python3.5中加入的贼涩,版本支持的情況下巧涧,建議使用它∫>耄基于生成器的協(xié)程應(yīng)該使用@asyncio.coroutine裝飾器谤绳,盡管這不是強(qiáng)制的。


import asyncio

@asyncio.coroutine
def test():
    print("never scheduled")

async def hello_world():
    print("Hello World!")

loop = asyncio.get_event_loop()
asyncio.ensure_future(test())
# Blocking call which returns when the hello_world() coroutine is done
loop.run_until_complete(hello_world())
loop.close()

調(diào)用一個(gè)協(xié)程不在代碼運(yùn)行的時(shí)候開啟袒哥,調(diào)用返回的協(xié)程對(duì)象不在任何事情缩筛,直到你的調(diào)度器開始執(zhí)行。有兩種基本的方式開啟它的運(yùn)行堡称,調(diào)用await coroutine或者從其他coroutine中yield from coroutine瞎抛,或者調(diào)度器執(zhí)行ensure_future()函數(shù)或者 AbstractEventLoop.create_task()方法。
協(xié)程運(yùn)行只有當(dāng)事件輪休運(yùn)行的時(shí)候運(yùn)行却紧。

import asyncio

async def compute(x, y):
    print("Compute %s + %s ..." % (x, y))
    await asyncio.sleep(1.0)
    return x + y

async def print_sum(x, y):
    result = await compute(x, y)
    print("%s + %s = %s" % (x, y, result))

loop = asyncio.get_event_loop()
loop.run_until_complete(print_sum(1, 2))
loop.close()

添加回調(diào)函數(shù)

import asyncio

async def slow_operation(future):
    await asyncio.sleep(1)
    future.set_result('Future is done!')

def got_result(future):
    print(future.result())
    loop.stop()

loop = asyncio.get_event_loop()
future = asyncio.Future()
asyncio.ensure_future(slow_operation(future))
future.add_done_callback(got_result)
try:
    loop.run_forever()
finally:
    loop.close()

最后看一例:

@asyncio.coroutine
def supervisor():
    spinner = asyncio.async(spin('thinking!'))
    print('spinner object:', spinner)
    result = yield from slow_function()
    spinner.cancel()
    return result

這里能安全地取消協(xié)程的原因是按照定義桐臊,協(xié)程只能在暫停的yield處取消,因此可以處理CancelledError異常晓殊,執(zhí)行清除操作断凶。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市巫俺,隨后出現(xiàn)的幾起案子认烁,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 212,222評(píng)論 6 493
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件却嗡,死亡現(xiàn)場(chǎng)離奇詭異舶沛,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)稽穆,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,455評(píng)論 3 385
  • 文/潘曉璐 我一進(jìn)店門冠王,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人舌镶,你說我怎么就攤上這事柱彻。” “怎么了餐胀?”我有些...
    開封第一講書人閱讀 157,720評(píng)論 0 348
  • 文/不壞的土叔 我叫張陵哟楷,是天一觀的道長(zhǎng)。 經(jīng)常有香客問我否灾,道長(zhǎng)卖擅,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 56,568評(píng)論 1 284
  • 正文 為了忘掉前任墨技,我火速辦了婚禮惩阶,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘扣汪。我一直安慰自己断楷,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,696評(píng)論 6 386
  • 文/花漫 我一把揭開白布崭别。 她就那樣靜靜地躺著冬筒,像睡著了一般。 火紅的嫁衣襯著肌膚如雪茅主。 梳的紋絲不亂的頭發(fā)上舞痰,一...
    開封第一講書人閱讀 49,879評(píng)論 1 290
  • 那天,我揣著相機(jī)與錄音诀姚,去河邊找鬼响牛。 笑死,一個(gè)胖子當(dāng)著我的面吹牛学搜,可吹牛的內(nèi)容都是我干的娃善。 我是一名探鬼主播,決...
    沈念sama閱讀 39,028評(píng)論 3 409
  • 文/蒼蘭香墨 我猛地睜開眼瑞佩,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼聚磺!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起炬丸,我...
    開封第一講書人閱讀 37,773評(píng)論 0 268
  • 序言:老撾萬榮一對(duì)情侶失蹤瘫寝,失蹤者是張志新(化名)和其女友劉穎蜒蕾,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體焕阿,經(jīng)...
    沈念sama閱讀 44,220評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡咪啡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,550評(píng)論 2 327
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了暮屡。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片撤摸。...
    茶點(diǎn)故事閱讀 38,697評(píng)論 1 341
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖褒纲,靈堂內(nèi)的尸體忽然破棺而出准夷,到底是詐尸還是另有隱情,我是刑警寧澤莺掠,帶...
    沈念sama閱讀 34,360評(píng)論 4 332
  • 正文 年R本政府宣布衫嵌,位于F島的核電站,受9級(jí)特大地震影響彻秆,放射性物質(zhì)發(fā)生泄漏楔绞。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 40,002評(píng)論 3 315
  • 文/蒙蒙 一唇兑、第九天 我趴在偏房一處隱蔽的房頂上張望酒朵。 院中可真熱鬧,春花似錦扎附、人聲如沸耻讽。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,782評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至饼记,卻和暖如春香伴,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背具则。 一陣腳步聲響...
    開封第一講書人閱讀 32,010評(píng)論 1 266
  • 我被黑心中介騙來泰國打工即纲, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人博肋。 一個(gè)月前我還...
    沈念sama閱讀 46,433評(píng)論 2 360
  • 正文 我出身青樓低斋,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國和親匪凡。 傳聞我的和親對(duì)象是個(gè)殘疾皇子膊畴,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,587評(píng)論 2 350