環(huán)境配置
win10
pycharm64 5.0.3
python 3.6.7
tornado 5.1.1
示例代碼
參考自tornado協(xié)程(coroutine)原理
from tornado.gen import coroutine
@coroutine
def asyn_sum(a, b):
print("begin calculate:sum %d+%d"%(a,b))
result = yield simple_plus(a, b)
print("after yielded")
print("the %d+%d=%d" % (a, b, result))
@coroutine
def simple_plus(a, b):
return a+b
def main():
asyn_sum(2, 3)
# tornado.ioloop.IOLoop.instance().start()
if __name__ == "__main__":
main()
執(zhí)行過程
被@coroutine裝飾的方法實際執(zhí)行的函數(shù)是gen.py中的_make_coroutine_wrapper裝飾器返回的方法wrapper（暫且稱之為asyn_sum_wrapper）啦逆，且wrapper中的func是types.coroutine處理后的方法磕诊。
asyn_sum執(zhí)行過程
asyn_sum_wrapper方法的執(zhí)行結(jié)果result = func(*args, **kwargs)實際是一個GeneratorType類型的對象斟湃，實際的執(zhí)行是在yielded = next(result)中同辣。執(zhí)行到result = yield simple_plus(a, b)時懈涛，進入simple_plus被裝飾后的方法wrapper中（暫且稱之為simple_plus_wrapper）了讨。simple_plus_wrapper返回一個Future對象麦射，其result屬性為5，即其實際返回值括勺，隨后跳轉(zhuǎn)到runner = Runner(result, future, yielded)缆八。
Runner的實例化有一段執(zhí)行代碼
if self.handle_yield(first_yielded):
gen = result_future = first_yielded = None
self.run()
self.handle_yield會將self.future置為first_yielded，然后各個指向這個future的變量置空疾捍；在self.run()中self.future會賦值給局部變量future奈辰，然后被置空；在執(zhí)行value = future.result()后該局部變量也被置空乱豆。future最終只有外層的Runner初始化時候的引用奖恰，Runner返回后yielded=None，等待釋放宛裕。
獲得了simple_plus返回結(jié)果后瑟啃，gen.py使用yielded = self.gen.send(value)回歸到asyn_sum的yield，并將返回值寫入result续滋，此時self.run()被掛起翰守，等asyn_sum執(zhí)行完后恢復(fù)執(zhí)行孵奶。
asyn_sum執(zhí)行完后疲酌，會跳轉(zhuǎn)到異常捕獲邏輯except (StopIteration, Return) as e:，e就是asyn_sum的返回值了袁，后續(xù)被future_set_result_unless_cancelled(self.result_future, _value_from_stopiteration(e))將值寫回到result_future中朗恳，即asyn_sum_wrapper調(diào)用初期實例化的future對象。
simple_plus執(zhí)行過程
simple_plus同樣也是在simple_plus_wrapper的result = func(*args, **kwargs)處執(zhí)行载绿，不同的是粥诫，simple_plus方法體不包含yield，所以在types.coroutine.wrapped返回的不再是GeneratorType類型的對象崭庸，而是simple_plus方法的實際執(zhí)行結(jié)果5怀浆，然后在裝飾器內(nèi)會包裝上Future返回給上層調(diào)用者。
future
@coroutine裝飾器的wrapper中怕享，第一步就是定義一個future對象执赡，在asyn_sum_wrapper執(zhí)行過程中，由于內(nèi)部調(diào)用了yield函筋，所以在它的future被使用前沙合，又進入了simple_plus_wrapper。由于后者的result是非GeneratorType類型跌帐，所以跳轉(zhuǎn)到了future_set_result_unless_cancelled(future, result)侧纯。
從gen.py中可以追溯Future的定義位置棘钞，根據(jù)實際單步定位鹏秋，F(xiàn)uture定義在_asyncio.py中，因為future的方法無法跳轉(zhuǎn)滤否。
# gen.py
from tornado.concurrent import (Future, is_future, chain_future, future_set_exc_info,
future_add_done_callback, future_set_result_unless_cancelled)
# concurrent.py
if asyncio is not None:
Future = asyncio.Future # noqa
if futures is None:
FUTURES = Future # type: typing.Union[type, typing.Tuple[type, ...]]
else:
FUTURES = (futures.Future, Future)
協(xié)程切換
參考自關(guān)于協(xié)程的 send(None)
為方便對yielded = self.gen.send(value)的理解，此處保留代碼示例最仑。
def consumer():
r = ''
while True:
n = yield r
if not n:
return
print('[CONSUMER] Consuming %s...' % n)
r = '200 OK'
def produce(c):
c.send(None)
n = 0
while n < 5:
n = n + 1
print('[PRODUCER] Producing %s...' % n)
r = c.send(n)
print('[PRODUCER] Consumer return: %s' % r)
c.close()
c = consumer()
produce(c)
未了解部分
Runner中的self._deactivate_stack_context()顽聂、future_set_exc_info(self.result_future, sys.exc_info())
小結(jié)
tornado中每一個被coroutine裝飾的方法都會對應(yīng)一個future，根據(jù)調(diào)用的深度盯仪，future的嵌套深度逐漸增加紊搪，直到某一個future set_result（result = func(*args, **kwargs)返回結(jié)果為非生成器類型），然后進行后續(xù)future的嵌套處理全景。
對yield AsyncHTTPClient的調(diào)用耀石，yielded = next(result)會獲取到fetch返回的future對象，與調(diào)用者及其future對象一并生成一個Runner對象爸黄，供IOloop異步回調(diào)滞伟，runner中yielded = self.gen.send(value)會觸發(fā)協(xié)程從斷點繼續(xù)執(zhí)行。
