文章來源：python 生成器和迭代器有這篇就夠了

什么是迭代器狈惫？

迭代器是訪問集合元素的一種方式。迭代器對(duì)象從集合的第一個(gè)元素開始訪問鹦马，直到所有的元素被訪問完結(jié)束胧谈。迭代器只能往前不會(huì)后退。

迭代器提供了一個(gè)統(tǒng)一的訪問集合的接口菠红。只要是實(shí)現(xiàn)了iter()或getitem()方法的對(duì)象第岖，就可以使用迭代器進(jìn)行訪問。

可迭代對(duì)象

序列：字符串试溯、列表蔑滓、元組
非序列：字典、文件
自定義類：用戶自定義的類實(shí)現(xiàn)了iter()或getitem()方法的對(duì)象

可以使用isinstance()判斷一個(gè)對(duì)象是否為可Iterable對(duì)象遇绞。

創(chuàng)建迭代器

L1 = [1, 2, 3]
print L1, '\n'

# 使用對(duì)象內(nèi)置的__iter__()方法生成迭代器
print 'method 1:'
I1 = L1.__iter__()
print I1
print I1.next(), I1.next(), I1.next(), '\n'


# 使用內(nèi)置工廠函數(shù)生成迭代器
print 'method 2:'
I2 = iter(L1)
print I2
print I2.next(), I2.next(), I2.next()
# 沒有下一個(gè)元素時(shí)键袱，會(huì)引發(fā)異常StopIteration
try:
    print I2.next()
except StopIteration, e:
    print '引發(fā)了異常'


結(jié)果：
[1, 2, 3] 

method 1:
<listiterator object at 0x00000000025FE390>
1 2 3 

method 2:
<listiterator object at 0x00000000025FE4E0>
1 2 3
引發(fā)了異常

要取出所有數(shù)據(jù)時(shí)，可以使用for循環(huán)摹闽，for循環(huán)可用于任何可迭代對(duì)象蹄咖，for循環(huán)本質(zhì)上就是通過不斷調(diào)用next()函數(shù)實(shí)現(xiàn)的。

你可能會(huì)問付鹿，為什么list澜汤、dict、str等數(shù)據(jù)類型不是Iterator舵匾？

這是因?yàn)?strong>Python的Iterator對(duì)象表示的是一個(gè)數(shù)據(jù)流俊抵，Iterator對(duì)象可以被next()函數(shù)調(diào)用并不斷返回下一個(gè)數(shù)據(jù)，直到?jīng)]有數(shù)據(jù)時(shí)拋出StopIteration錯(cuò)誤坐梯』栈澹可以把這個(gè)數(shù)據(jù)流看做是一個(gè)有序序列，但我們卻不能提前知道序列的長(zhǎng)度，只能不斷通過next()函數(shù)實(shí)現(xiàn)按需計(jì)算下一個(gè)數(shù)據(jù)谎替，所以Iterator的計(jì)算是惰性的偷溺，只有在需要返回下一個(gè)數(shù)據(jù)時(shí)它才會(huì)計(jì)算。
Iterator甚至可以表示一個(gè)無限大的數(shù)據(jù)流钱贯，例如全體自然數(shù)挫掏。而使用list是永遠(yuǎn)不可能存儲(chǔ)全體自然數(shù)的。

什么是生成器喷舀？

受到內(nèi)存限制砍濒，列表容量肯定是有限的，例如要?jiǎng)?chuàng)建一個(gè)包含100萬個(gè)元素的列表硫麻，不僅占用很大的存儲(chǔ)空間爸邢，如果我們僅僅需要訪問前面幾個(gè)元素，那后面絕大多數(shù)元素占用的空間都白白浪費(fèi)了拿愧。

所以杠河，如果列表元素可以按照某種算法推算出來，那我們是否可以在循環(huán)的過程中不斷推算出后續(xù)的元素呢浇辜？這樣就不必創(chuàng)建完整的list券敌，從而節(jié)省大量的空間，在Python中柳洋，這種一邊循環(huán)一邊計(jì)算的機(jī)制待诅，稱為生成器：generator。
　　
生成器是一個(gè)特殊的程序熊镣，可以被用作控制循環(huán)的迭代行為卑雁，python中生成器是迭代器的一種，使用yield返回值函數(shù)绪囱，每次調(diào)用yield會(huì)暫停测蹲，而可以使用next()函數(shù)和send()函數(shù)恢復(fù)生成器。

生成器類似于返回值為數(shù)組的一個(gè)函數(shù)鬼吵，這個(gè)函數(shù)可以接受參數(shù)扣甲，可以被調(diào)用，但是齿椅，不同于一般的函數(shù)會(huì)一次性返回包括了所有數(shù)值的數(shù)組琉挖，生成器一次只能產(chǎn)生一個(gè)值，這樣消耗的內(nèi)存數(shù)量將大大減小涣脚，而且允許調(diào)用函數(shù)可以很快的處理前幾個(gè)返回值示辈，因此生成器看起來像是一個(gè)函數(shù)，但是表現(xiàn)得卻像是迭代器涩澡。

想要?jiǎng)?chuàng)建一個(gè)生成器？
第一種方法很簡(jiǎn)單，只有把一個(gè)列表生成式的[]中括號(hào)改為（）小括號(hào)妙同，就創(chuàng)建一個(gè)generator射富。

# 列表生成式
lis = [x*x for x in range(10)]
print(lis)

# 生成器
generator_ex = (x*x for x in range(10))
print(generator_ex)

結(jié)果：
[0, 1, 4, 9, 16, 25, 36, 49, 64, 81]
<generator object <genexpr> at 0x000002A4CBF9EBA0>

從表面看就是[ ]和（）,但是結(jié)果卻不一樣，一個(gè)打印出來是列表（因?yàn)槭橇斜砩墒剑┲嘀悖诙€(gè)打印出來卻是<generator object <genexpr> at 0x000002A4CBF9EBA0>胰耗，那么如何打印出來generator_ex的每一個(gè)元素呢？很簡(jiǎn)單芒涡，可以通過next（）函數(shù)獲得generator的下一個(gè)返回值：

print(next(generator_ex))

因?yàn)樯善饕彩堑鞯囊环N丧慈，所以直接next取遗嗽，在最后也是會(huì)報(bào)StopIteration的異常的。

所以我們創(chuàng)建一個(gè)generator后，基本上永遠(yuǎn)不會(huì)調(diào)用next()凹耙，而是通過for循環(huán)來迭代，并且不需要關(guān)心StopIteration的錯(cuò)誤奉件，generator非常強(qiáng)大耗溜，如果推算的算法比較復(fù)雜，用類似列表生成式的for循環(huán)無法實(shí)現(xiàn)的時(shí)候柏卤，還可以用函數(shù)來實(shí)現(xiàn)冬三。

以下來看個(gè)例子，比如著名的斐波那契數(shù)列：

# 斐波拉契數(shù)列
def fib(max):
    n, a, b = 0, 0, 1
    while n < max:
        yield b
        a, b = b, a + b
        n = n + 1
    return 'done'      # python 版本<3.3 的會(huì)報(bào)錯(cuò)

res = fib(10)
print(res)

for i in res:
    print(i)

結(jié)果：
<generator object fib at 0x00000000023CC240>
1
1
2
3
5
8
13
21
34
55

可以看到缘缚，函數(shù)fib返回的不再是一個(gè)值勾笆，而是一個(gè)生成器。

這里說一下generator和函數(shù)的執(zhí)行流程桥滨，函數(shù)是順序執(zhí)行的窝爪，遇到return語句或者最后一行函數(shù)語句就返回。而變成generator的函數(shù)该园，在每次調(diào)用next()的時(shí)候執(zhí)行酸舍，遇到y(tǒng)ield語句返回，再次被next（）調(diào)用時(shí)候從上次的返回yield語句處急需執(zhí)行里初，也就是用多少啃勉，取多少，不占內(nèi)存双妨。

最后要說一下淮阐，用for循環(huán)調(diào)用generator時(shí)，發(fā)現(xiàn)拿不到generator的return語句的返回值刁品。如果想要拿到返回值泣特，必須捕獲StopIteration錯(cuò)誤，返回值包含在StopIteration的value中挑随。

接下來状您，我們來使用yield來實(shí)現(xiàn)在單線程的情況下實(shí)現(xiàn)并發(fā)運(yùn)算的效果

import time
def consumer(name):
    print("%s 準(zhǔn)備學(xué)習(xí)啦!" %name)
    while True:
       lesson = yield
 
       print("開始[%s]了,[%s]老師來講課了!" %(lesson,name))
 
 
def producer(name):
    c = consumer('A')
    c2 = consumer('B')
    c.__next__()
    c2.__next__()
    print("同學(xué)們開始上課 了!")
    for i in range(10):
        time.sleep(1)
        print("到了兩個(gè)同學(xué)!")
        c.send(i)
        c2.send(i)
 
結(jié)果：
A 準(zhǔn)備學(xué)習(xí)啦!
B 準(zhǔn)備學(xué)習(xí)啦!
同學(xué)們開始上課 了!
到了兩個(gè)同學(xué)!
開始[0]了,[A]老師來講課了!
開始[0]了,[B]老師來講課了!
到了兩個(gè)同學(xué)!
開始[1]了,[A]老師來講課了!
開始[1]了,[B]老師來講課了!
到了兩個(gè)同學(xué)!
開始[2]了,[A]老師來講課了!
開始[2]了,[B]老師來講課了!
到了兩個(gè)同學(xué)!
開始[3]了,[A]老師來講課了!
開始[3]了,[B]老師來講課了!
到了兩個(gè)同學(xué)!
開始[4]了,[A]老師來講課了!
開始[4]了,[B]老師來講課了!
到了兩個(gè)同學(xué)!
開始[5]了,[A]老師來講課了!
開始[5]了,[B]老師來講課了!
到了兩個(gè)同學(xué)!
開始[6]了,[A]老師來講課了!
開始[6]了,[B]老師來講課了!
到了兩個(gè)同學(xué)!

由上面的例子我么可以發(fā)現(xiàn)，python提供了兩種基本的方式
生成器函數(shù)：也是用def定義的，利用關(guān)鍵字yield一次性返回一個(gè)結(jié)果膏孟，阻塞眯分，重新開始
生成器表達(dá)式：返回一個(gè)對(duì)象，這個(gè)對(duì)象只有在需要的時(shí)候才產(chǎn)生結(jié)果

生成器函數(shù)

為什么叫生成器函數(shù)柒桑？因?yàn)樗S著時(shí)間的推移生成了一個(gè)數(shù)值隊(duì)列弊决。一般的函數(shù)在執(zhí)行完畢之后會(huì)返回一個(gè)值然后退出，但是生成器函數(shù)會(huì)自動(dòng)掛起魁淳，然后重新拾起急需執(zhí)行飘诗，他會(huì)利用yield關(guān)鍵字關(guān)起函數(shù)，給調(diào)用者返回一個(gè)值界逛，同時(shí)保留了當(dāng)前的足夠多的狀態(tài)昆稿，可以使函數(shù)繼續(xù)執(zhí)行，生成器和迭代協(xié)議是密切相關(guān)的仇奶，可迭代的對(duì)象都有一個(gè)next()__成員方法貌嫡，這個(gè)方法要么返回迭代的下一項(xiàng)，要買引起異常結(jié)束迭代该溯。

歸納：

1. 函數(shù)有了yield之后岛抄，函數(shù)名+（）就變成了生成器
2. return在生成器中代表生成器的中止，直接報(bào)錯(cuò)
3. next的作用是喚醒并繼續(xù)執(zhí)行
4. send的作用是喚醒并繼續(xù)執(zhí)行狈茉，發(fā)送一個(gè)信息到生成器內(nèi)部

生成器表達(dá)式

生成器表達(dá)式來源于迭代和列表解析的組合夫椭，生成器和列表解析類似，但是它使用尖括號(hào)而不是方括號(hào)

一個(gè)迭代既可以被寫成生成器函數(shù)氯庆，也可以被寫成生成器表達(dá)式蹭秋，均支持自動(dòng)和手動(dòng)迭代。而且這些生成器只支持一個(gè)active迭代堤撵，也就是說生成器的迭代器就是生成器本身仁讨。

迭代器（迭代就是循環(huán)）

一類是集合數(shù)據(jù)類型，如list,tuple,dict,set,str等

一類是generator实昨，包括生成器和帶yield的generator function

這些可以直接作用于for 循環(huán)的對(duì)象統(tǒng)稱為可迭代對(duì)象：Iterable

小結(jié)：

1. 凡是可作用于for循環(huán)的對(duì)象都是Iterable類型洞豁；
2. 凡是可作用于next()函數(shù)的對(duì)象都是Iterator類型，它們表示一個(gè)惰性計(jì)算的序列荒给；
3. 集合數(shù)據(jù)類型如list丈挟、dict、str等是Iterable但不是Iterator志电，不過可以通過iter()函數(shù)獲得一個(gè)Iterator對(duì)象曙咽。

對(duì)yield的總結(jié)
　　（1）：通常的for..in...循環(huán)中挑辆，in后面是一個(gè)數(shù)組例朱，這個(gè)數(shù)組就是一個(gè)可迭代對(duì)象孝情，類似的還有鏈表，字符串洒嗤，文件咧叭。他可以是a = [1,2,3]，也可以是a = [xx for x in range(3)]烁竭。它的缺點(diǎn)也很明顯，就是所有數(shù)據(jù)都在內(nèi)存里面吉挣，如果有海量的數(shù)據(jù)派撕，將會(huì)非常耗內(nèi)存。
　〔腔辍（2）生成器是可以迭代的终吼，但是只可以讀取它一次。因?yàn)橛玫臅r(shí)候才生成氯哮，比如a = (xx for x in range(3))际跪。!!!!注意這里是小括號(hào)而不是方括號(hào)。
　『砀帧（3）生成器（generator）能夠迭代的關(guān)鍵是他有next()方法姆打，工作原理就是通過重復(fù)調(diào)用next()方法，直到捕獲一個(gè)異常肠虽。
　♂Ｏ贰（4）帶有yield的函數(shù)不再是一個(gè)普通的函數(shù)，而是一個(gè)生成器generator税课，可用于迭代
　∠醒印（5）yield是一個(gè)類似return 的關(guān)鍵字，迭代一次遇到y(tǒng)ield的時(shí)候就返回yield后面或者右面的值韩玩。而且下一次迭代的時(shí)候垒玲，從上一次迭代遇到的yield后面的代碼開始執(zhí)行
　　（6）yield就是return返回的一個(gè)值找颓，并且記住這個(gè)返回的位置合愈。下一次迭代就從這個(gè)位置開始。
　《ｖā（7）帶有yield的函數(shù)不僅僅是只用于for循環(huán)想暗，而且可用于某個(gè)函數(shù)的參數(shù)，只要這個(gè)函數(shù)的參數(shù)也允許迭代參數(shù)帘不。
　∷的（8）send()和next()的區(qū)別就在于send可傳遞參數(shù)給yield表達(dá)式，這時(shí)候傳遞的參數(shù)就會(huì)作為yield表達(dá)式的值寞焙，而yield的參數(shù)是返回給調(diào)用者的值储狭，也就是說send可以強(qiáng)行修改上一個(gè)yield表達(dá)式值互婿。
　　（9）send()和next()都有返回值辽狈，他們的返回值是當(dāng)前迭代遇到的yield的時(shí)候慈参，yield后面表達(dá)式的值，其實(shí)就是當(dāng)前迭代yield后面的參數(shù)刮萌。
　⊥耘洹（10）第一次調(diào)用時(shí)候必須先next（）或send（）,否則會(huì)報(bào)錯(cuò)，send后之所以為None是因?yàn)檫@時(shí)候沒有上一個(gè)yield着茸，所以也可以認(rèn)為next（）等同于send(None)