真正有知識的人的成長過程遏匆，就像麥穗的成長過程：麥穗空的時(shí)候卖丸，麥子長得很快含末，麥穗驕傲地高高昂起垄开，但是聋涨，麥穗成熟飽滿時(shí)负乡，它們開始謙虛，垂下麥芒茂腥。
——蒙田《蒙田隨筆全集》

在這里還是要推薦下我自己建的Python開發(fā)學(xué)習(xí)群：725479218和龔總好「CoXie帶你學(xué)編程」(id:Pythoni521)，都是學(xué)Python開發(fā)的帕胆，如果你正在學(xué)習(xí)Python 般渡，小編歡迎你加入,大家都是軟件開發(fā)黨，不定期分享干貨（只有Python軟件開發(fā)相關(guān)的）脸秽，包括我自己整理的一份2018最新的Python進(jìn)階資料和高級開發(fā)教程记餐，歡迎進(jìn)階中和進(jìn)想深入Python的小伙伴

上篇論述了關(guān)于python多線程是否是雞肋的問題薇正，得到了一些網(wǎng)友的認(rèn)可铝穷，當(dāng)然也有一些不同意見曙聂，表示協(xié)程比多線程不知強(qiáng)多少，在協(xié)程面前多線程算是雞肋断国。好吧稳衬，對此我也表示贊同坐漏，然而上篇我論述的觀點(diǎn)不在于多線程與協(xié)程的比較，而是在于IO密集型程序中街夭，多線程尚有用武之地板丽。

對于協(xié)程趁尼，我表示其效率確非多線程能比猖辫，但本人對此了解并不深入砚殿，因此最近幾日參考了一些資料瓮具，學(xué)習(xí)整理了一番，在此分享出來僅供大家參考，如有謬誤請指正传睹，多謝岸晦。

申明：本文介紹的協(xié)程是入門級別，大神請繞道而行邢隧，謹(jǐn)防入坑倒慧。

文章思路：本文將先介紹協(xié)程的概念纫谅，然后分別介紹Python2.x與3.x下協(xié)程的用法溅固，最終將協(xié)程與多線程做比較并介紹異步爬蟲模塊。

協(xié)程

概念

協(xié)程，又稱微線程亮元，纖程苹粟，英文名Coroutine。協(xié)程的作用毛好，是在執(zhí)行函數(shù)A時(shí)肌访，可以隨時(shí)中斷，去執(zhí)行函數(shù)B惩激，然后中斷繼續(xù)執(zhí)行函數(shù)A（可以自由切換）风钻。但這一過程并不是函數(shù)調(diào)用（沒有調(diào)用語句）骡技，這一整個(gè)過程看似像多線程羞反，然而協(xié)程只有一個(gè)線程執(zhí)行布朦。

優(yōu)勢

• 執(zhí)行效率極高，因?yàn)樽映绦蚯袚Q（函數(shù)）不是線程切換昼窗，由程序自身控制是趴，沒有切換線程的開銷。所以與多線程相比澄惊，線程的數(shù)量越多唆途，協(xié)程性能的優(yōu)勢越明顯。
• 不需要多線程的鎖機(jī)制缤削，因?yàn)橹挥幸粋€(gè)線程窘哈，也不存在同時(shí)寫變量沖突，在控制共享資源時(shí)也不需要加鎖亭敢，因此執(zhí)行效率高很多。

　　說明：協(xié)程可以處理IO密集型程序的效率問題让腹，但是處理CPU密集型不是它的長處，如要充分發(fā)揮CPU利用率可以結(jié)合多進(jìn)程+協(xié)程腹纳。

以上只是協(xié)程的一些概念足画，可能聽起來比較抽象俘侠，那么我結(jié)合代碼講一講吧央星。這里主要介紹協(xié)程在Python的應(yīng)用，Python2對協(xié)程的支持比較有限，生成器的yield實(shí)現(xiàn)了一部分但不完全废封，gevent模塊倒是有比較好的實(shí)現(xiàn)；Python3.4以后引入了asyncio模塊，可以很好的使用協(xié)程贝咙。

Python2.x協(xié)程

python2.x協(xié)程應(yīng)用：

• yield
• gevent

python2.x中支持協(xié)程的模塊不多，gevent算是比較常用的蔼水，這里就簡單介紹一下gevent的用法。

Gevent

gevent是第三方庫颁井，通過greenlet實(shí)現(xiàn)協(xié)程，其基本思想：
　　當(dāng)一個(gè)greenlet遇到IO操作時(shí)秀又，比如訪問網(wǎng)絡(luò)，就自動(dòng)切換到其他的greenlet，等到IO操作完成贤惯，再在適當(dāng)?shù)臅r(shí)候切換回來繼續(xù)執(zhí)行孵构。由于IO操作非常耗時(shí)，經(jīng)常使程序處于等待狀態(tài)，有了gevent為我們自動(dòng)切換協(xié)程毒坛，就保證總有g(shù)reenlet在運(yùn)行，而不是等待IO。

Install

pip install gevent
最新版貌似支持windows了顶伞，之前測試好像windows上運(yùn)行不了……

Usage

首先來看一個(gè)簡單的爬蟲例子：

#! -*- coding:utf-8 -*-
import gevent
from gevent import monkey;monkey.patch_all()
import urllib2
def get_body(i):
    print "start",i
    urllib2.urlopen("http://cn.bing.com")
    print "end",i
tasks=[gevent.spawn(get_body,i) for i in range(3)]
gevent.joinall(tasks)

運(yùn)行結(jié)果：

start 0
start 1
start 2
end 2
end 0
end 1

說明：從結(jié)果上來看，執(zhí)行g(shù)et_body的順序應(yīng)該先是輸出”start”，然后執(zhí)行到urllib2時(shí)碰到IO堵塞粹舵，則會自動(dòng)切換運(yùn)行下一個(gè)程序（繼續(xù)執(zhí)行g(shù)et_body輸出start）历涝，直到urllib2返回結(jié)果堰塌，再執(zhí)行end。也就是說，程序沒有等待urllib2請求網(wǎng)站返回結(jié)果，而是直接先跳過了概漱，等待執(zhí)行完畢再回來獲取返回值玉吁。值得一提的是这揣，在此過程中，只有一個(gè)線程在執(zhí)行残邀，因此這與多線程的概念是不一樣的。
換成多線程的代碼看看:

import threading
import urllib2
def get_body(i):
    print "start",i
    urllib2.urlopen("http://cn.bing.com")
    print "end",i
for i in range(3):
    t=threading.Thread(target=get_body,args=(i,))
    t.start()

運(yùn)行結(jié)果：

start 0
start 1
start 2
end 1
end 2
end 0

說明：從結(jié)果來看九秀，多線程與協(xié)程的效果一樣都弹，都是達(dá)到了IO阻塞時(shí)切換的功能。不同的是，多線程切換的是線程（線程間切換）咪辱，協(xié)程切換的是上下文（可以理解為執(zhí)行的函數(shù)）寸癌。而切換線程的開銷明顯是要大于切換上下文的開銷，因此當(dāng)線程越多鸟辅，協(xié)程的效率就越比多線程的高。（猜想多進(jìn)程的切換開銷應(yīng)該是最大的）

Gevent使用說明

• monkey可以使一些阻塞的模塊變得不阻塞，機(jī)制：遇到IO操作則自動(dòng)切換，手動(dòng)切換可以用gevent.sleep(0)（將爬蟲代碼換成這個(gè)，效果一樣可以達(dá)到切換上下文）
• gevent.spawn 啟動(dòng)協(xié)程，參數(shù)為函數(shù)名稱，參數(shù)名稱
• gevent.joinall 停止協(xié)程

Python3.x協(xié)程

python3.5協(xié)程使用可以移步：Python3.5協(xié)程學(xué)習(xí)研究

為了測試Python3.x下的協(xié)程應(yīng)用，我在virtualenv下安裝了python3.6的環(huán)境吼具。
python3.x協(xié)程應(yīng)用：

• asynico + yield from（python3.4）
• asynico + await（python3.5）
• gevent

Python3.4以后引入了asyncio模塊，可以很好的支持協(xié)程。

asynico

asyncio是Python 3.4版本引入的標(biāo)準(zhǔn)庫，直接內(nèi)置了對異步IO的支持戏蔑。asyncio的異步操作情龄，需要在coroutine中通過yield from完成鹃觉。

Usage

例子：（需在python3.4以后版本使用）

import asyncio
@asyncio.coroutine
def test(i):
    print("test_1",i)
    r=yield from asyncio.sleep(1)
    print("test_2",i)
loop=asyncio.get_event_loop()
tasks=[test(i) for i in range(5)]
loop.run_until_complete(asyncio.wait(tasks))
loop.close()

運(yùn)行結(jié)果：

test_1 3
test_1 4
test_1 0
test_1 1
test_1 2
test_2 3
test_2 0
test_2 2
test_2 4
test_2 1

說明：從運(yùn)行結(jié)果可以看到躬柬，跟gevent達(dá)到的效果一樣，也是在遇到IO操作時(shí)進(jìn)行切換（所以先輸出test_1史汗，等test_1輸出完再輸出test_2）戈毒。但此處我有一點(diǎn)不明道宅，test_1的輸出為什么不是按照順序執(zhí)行的呢？可以對比gevent的輸出結(jié)果（希望大神能解答一下）。

asyncio說明

@asyncio.coroutine把一個(gè)generator標(biāo)記為coroutine類型，然后汗贫，我們就把這個(gè)coroutine扔到EventLoop中執(zhí)行咐蝇。
　　test()會首先打印出test_1，然后，yield from語法可以讓我們方便地調(diào)用另一個(gè)generator缩膝。由于asyncio.sleep()也是一個(gè)coroutine俯逾，所以線程不會等待asyncio.sleep()，而是直接中斷并執(zhí)行下一個(gè)消息循環(huán)蝇恶。當(dāng)asyncio.sleep()返回時(shí)，線程就可以從yield from拿到返回值（此處是None）释树，然后接著執(zhí)行下一行語句。
　　把a(bǔ)syncio.sleep(1)看成是一個(gè)耗時(shí)1秒的IO操作姑曙，在此期間焕梅，主線程并未等待蚤霞，而是去執(zhí)行EventLoop中其他可以執(zhí)行的coroutine了斩启，因此可以實(shí)現(xiàn)并發(fā)執(zhí)行。

asynico/await

為了簡化并更好地標(biāo)識異步IO氓涣，從Python 3.5開始引入了新的語法async和await巩趁，可以讓coroutine的代碼更簡潔易讀燃观。
　　請注意番川，async和await是針對coroutine的新語法，要使用新的語法，只需要做兩步簡單的替換：

• 把@asyncio.coroutine替換為async诵棵；
• 把yield from替換為await忠蝗。

Usage

例子（python3.5以后版本使用）：

import asyncio
async def test(i):
    print("test_1",i)
    await asyncio.sleep(1)
    print("test_2",i)
loop=asyncio.get_event_loop()
tasks=[test(i) for i in range(5)]
loop.run_until_complete(asyncio.wait(tasks))
loop.close()

運(yùn)行結(jié)果與之前一致。
說明：與前一節(jié)相比闸餐，這里只是把yield from換成了await饱亮，@asyncio.coroutine換成了async，其余不變舍沙。

gevent

同python2.x用法一樣近上。

協(xié)程VS多線程

如果通過以上介紹，你已經(jīng)明白多線程與協(xié)程的不同之處拂铡，那么我想測試也就沒有必要了壹无。因?yàn)楫?dāng)線程越來越多時(shí)，多線程主要的開銷花費(fèi)在線程切換上感帅，而協(xié)程是在一個(gè)線程內(nèi)切換的斗锭，因此開銷小很多，這也許就是兩者性能的根本差異之處吧失球。（個(gè)人觀點(diǎn)）

異步爬蟲

也許關(guān)心協(xié)程的朋友岖是，大部分是用其寫爬蟲（因?yàn)閰f(xié)程能很好的解決IO阻塞問題），然而我發(fā)現(xiàn)常用的urllib实苞、requests無法與asyncio結(jié)合使用豺撑，可能是因?yàn)榕老x模塊本身是同步的（也可能是我沒找到用法）。那么對于異步爬蟲的需求硬梁，又該怎么使用協(xié)程呢前硫？或者說怎么編寫異步爬蟲？
給出幾個(gè)我所了解的方案：

• grequests （requests模塊的異步化）
• 爬蟲模塊+gevent（比較推薦這個(gè)）
• aiohttp （這個(gè)貌似資料不多荧止，目前我也不太會用）
• asyncio內(nèi)置爬蟲功能 （這個(gè)也比較難用）

協(xié)程池

作用：控制協(xié)程數(shù)量

from bs4 import BeautifulSoup
import requests
import gevent
from gevent import monkey, pool
monkey.patch_all()
jobs = []
links = []
p = pool.Pool(10)
urls = [
    'http://www.google.com',
    # ... another 100 urls
]
def get_links(url):
    r = requests.get(url)
    if r.status_code == 200:
        soup = BeautifulSoup(r.text)
        links + soup.find_all('a')
for url in urls:
    jobs.append(p.spawn(get_links, url))
gevent.joinall(jobs)