python yield淺析

您可能聽說過譬胎，帶有 yield 的函數(shù)在 Python 中被稱之為 generator（生成器），何謂 generator ？

我們先拋開 generator避咆，以一個常見的編程題目來展示 yield 的概念裕坊。

如何生成斐波那契數(shù)列
斐波那契（Fibonacci）數(shù)列是一個非常簡單的遞歸數(shù)列包竹，除第一個和第二個數(shù)外，任意一個數(shù)都可由前兩個數(shù)相加得到籍凝。用計算機程序輸出斐波那契數(shù)列的前 N 個數(shù)是一個非常簡單的問題周瞎，許多初學(xué)者都可以輕易寫出如下函數(shù)：

清單 1. 簡單輸出斐波那契數(shù)列前 N 個數(shù)

def fab(max): 
   n, a, b = 0, 0, 1 
   while n < max: 
       print b 
       a, b = b, a + b 
       n = n + 1

執(zhí)行 fab(5)，我們可以得到如下輸出：

>>> fab(5) 
1 
1 
2 
3 
5

結(jié)果沒有問題饵蒂，但有經(jīng)驗的開發(fā)者會指出声诸，直接在 fab 函數(shù)中用 print 打印數(shù)字會導(dǎo)致該函數(shù)可復(fù)用性較差，因為 fab 函數(shù)返回 None退盯，其他函數(shù)無法獲得該函數(shù)生成的數(shù)列彼乌。

要提高 fab 函數(shù)的可復(fù)用性，最好不要直接打印出數(shù)列渊迁，而是返回一個 List慰照。以下是 fab 函數(shù)改寫后的第二個版本：

清單 2. 輸出斐波那契數(shù)列前 N 個數(shù)第二版

def fab(max): 
   n, a, b = 0, 0, 1 
   L = [] 
   while n < max: 
       L.append(b) 
       a, b = b, a + b 
       n = n + 1 
   return L

可以使用如下方式打印出 fab 函數(shù)返回的 List：

>>> for n in fab(5): 
...     print n 
... 
1 
1 
2 
3 
5

改寫后的 fab 函數(shù)通過返回 List 能滿足復(fù)用性的要求，但是更有經(jīng)驗的開發(fā)者會指出琉朽，該函數(shù)在運行中占用的內(nèi)存會隨著參數(shù) max 的增大而增大毒租，如果要控制內(nèi)存占用，最好不要用 List

來保存中間結(jié)果箱叁，而是通過 iterable 對象來迭代墅垮。例如，在 Python2.x 中蝌蹂，代碼：

清單 3. 通過 iterable 對象來迭代

for i in range(1000): pass

會導(dǎo)致生成一個 1000 個元素的 List噩斟，而代碼：

for i in xrange(1000): pass

則不會生成一個 1000 個元素的 List，而是在每次迭代中返回下一個數(shù)值孤个，內(nèi)存空間占用很小剃允。因為 xrange 不返回 List，而是返回一個 iterable 對象。

利用 iterable 我們可以把 fab 函數(shù)改寫為一個支持 iterable 的 class斥废，以下是第三個版本的 Fab：

清單 4. 第三個版本

class Fab(object): 
 
   def __init__(self, max): 
       self.max = max 
       self.n, self.a, self.b = 0, 0, 1 
 
   def __iter__(self): 
       return self 
 
   def next(self): 
       if self.n < self.max: 
           r = self.b 
           self.a, self.b = self.b, self.a + self.b 
           self.n = self.n + 1 
           return r 
       raise StopIteration()

Fab 類通過 next() 不斷返回數(shù)列的下一個數(shù)椒楣，內(nèi)存占用始終為常數(shù)：

>>> for n in Fab(5): 
...     print n 
... 
1 
1 
2 
3 
5

然而，使用 class 改寫的這個版本牡肉，代碼遠遠沒有第一版的 fab 函數(shù)來得簡潔捧灰。如果我們想要保持第一版 fab 函數(shù)的簡潔性，同時又要獲得 iterable 的效果统锤，yield 就派上用場了：

清單 5. 使用 yield 的第四版

def fab(max): 
    n, a, b = 0, 0, 1 
    while n < max: 
        yield b 
        # print b 
        a, b = b, a + b 
        n = n + 1

第四個版本的 fab 和第一版相比毛俏，僅僅把 print b 改為了 yield b，就在保持簡潔性的同時獲得了 iterable 的效果饲窿。

調(diào)用第四版的 fab 和第二版的 fab 完全一致：

>>> for n in fab(5): 
...     print n 
... 
1 
1 
2 
3 
5

簡單地講煌寇，yield 的作用就是把一個函數(shù)變成一個 generator，帶有 yield 的函數(shù)不再是一個普通函數(shù)逾雄，Python 解釋器會將其視為一個 generator阀溶，調(diào)用 fab(5) 不會執(zhí)行 fab 函數(shù)，而是返回一個 iterable 對象鸦泳！在 for 循環(huán)執(zhí)行時银锻，每次循環(huán)都會執(zhí)行 fab 函數(shù)內(nèi)部的代碼袱瓮，執(zhí)行到 yield b 時晦闰，fab 函數(shù)就返回一個迭代值口芍，下次迭代時梯啤，代碼從 yield b 的下一條語句繼續(xù)執(zhí)行，而函數(shù)的本地變量看起來和上次中斷執(zhí)行前是完全一樣的悔捶，于是函數(shù)繼續(xù)執(zhí)行搅幅，直到再次遇到 yield热监。

也可以手動調(diào)用 fab(5) 的 next() 方法（因為 fab(5) 是一個 generator 對象喂走，該對象具有 next() 方法），這樣我們就可以更清楚地看到 fab 的執(zhí)行流程：

清單 6. 執(zhí)行流程

>>> f = fab(5) 
>>> f.next() 
1 
>>> f.next() 
1 
>>> f.next() 
2 
>>> f.next() 
3 
>>> f.next() 
5 
>>> f.next() 
Traceback (most recent call last): 
 File "<stdin>", line 1, in <module> 
StopIteration

當(dāng)函數(shù)執(zhí)行結(jié)束時谋作，generator 自動拋出 StopIteration 異常芋肠，表示迭代完成。在 for 循環(huán)里遵蚜，無需處理 StopIteration 異常帖池，循環(huán)會正常結(jié)束。

我們可以得出以下結(jié)論：

一個帶有 yield 的函數(shù)就是一個 generator吭净，它和普通函數(shù)不同睡汹，生成一個 generator 看起來像函數(shù)調(diào)用，但不會執(zhí)行任何函數(shù)代碼寂殉，直到對其調(diào)用 next()（在 for 循環(huán)中會自動調(diào)用 next()）才開始執(zhí)行囚巴。雖然執(zhí)行流程仍按函數(shù)的流程執(zhí)行，但每執(zhí)行到一個 yield 語句就會中斷，并返回一個迭代值彤叉，下次執(zhí)行時從 yield 的下一個語句繼續(xù)執(zhí)行庶柿。看起來就好像一個函數(shù)在正常執(zhí)行的過程中被 yield 中斷了數(shù)次秽浇，每次中斷都會通過 yield 返回當(dāng)前的迭代值浮庐。

yield 的好處是顯而易見的，把一個函數(shù)改寫為一個 generator 就獲得了迭代能力柬焕，比起用類的實例保存狀態(tài)來計算下一個 next() 的值审残，不僅代碼簡潔，而且執(zhí)行流程異常清晰斑举。

如何判斷一個函數(shù)是否是一個特殊的 generator 函數(shù)搅轿？可以利用 isgeneratorfunction 判斷：

清單 7. 使用 isgeneratorfunction 判斷

>>> from inspect import isgeneratorfunction 
>>> isgeneratorfunction(fab) 
True

要注意區(qū)分 fab 和 fab(5)，fab 是一個 generator function懂昂，而 fab(5) 是調(diào)用 fab 返回的一個 generator介时，好比類的定義和類的實例的區(qū)別：

清單 8. 類的定義和類的實例

>>> import types 
>>> isinstance(fab, types.GeneratorType) 
False 
>>> isinstance(fab(5), types.GeneratorType) 
True

fab 是無法迭代的，而 fab(5) 是可迭代的：

>>> from collections import Iterable 
>>> isinstance(fab, Iterable) 
False 
>>> isinstance(fab(5), Iterable) 
True

每次調(diào)用 fab 函數(shù)都會生成一個新的 generator 實例凌彬，各實例互不影響：

>>> f1 = fab(3) 
>>> f2 = fab(5) 
>>> print 'f1:', f1.next() 
f1: 1 
>>> print 'f2:', f2.next() 
f2: 1 
>>> print 'f1:', f1.next() 
f1: 1 
>>> print 'f2:', f2.next() 
f2: 1 
>>> print 'f1:', f1.next() 
f1: 2 
>>> print 'f2:', f2.next() 
f2: 2 
>>> print 'f2:', f2.next() 
f2: 3 
>>> print 'f2:', f2.next() 
f2: 5

return 的作用
在一個 generator function 中沸柔，如果沒有 return，則默認執(zhí)行至函數(shù)完畢铲敛，如果在執(zhí)行過程中 return褐澎，則直接拋出 StopIteration 終止迭代。

另一個例子
另一個 yield 的例子來源于文件讀取伐蒋。如果直接對文件對象調(diào)用 read() 方法工三，會導(dǎo)致不可預(yù)測的內(nèi)存占用。好的方法是利用固定長度的緩沖區(qū)來不斷讀取文件內(nèi)容先鱼。通過 yield俭正，我們不再需要編寫讀文件的迭代類，就可以輕松實現(xiàn)文件讀缺号稀：

清單 9. 另一個 yield 的例子

def read_file(fpath): 
   BLOCK_SIZE = 1024 
   with open(fpath, 'rb') as f: 
       while True: 
           block = f.read(BLOCK_SIZE) 
           if block: 
               yield block 
           else: 
               return

以上僅僅簡單介紹了 yield 的基本概念和用法掸读，yield 在 Python 3 中還有更強大的用法，我們會在后續(xù)文章中討論宏多。

注：本文的代碼均在 Python 2.7 中調(diào)試通過

原文地址：https:/ /w ww.ibm.com/developerworks/cn/opensource/os-cn-python-yield/