一攻谁、為什么要用異步？
許多之前沒(méi)有聽(tīng)說(shuō)過(guò)異步地朋友可能看到標(biāo)題地第一反應(yīng)就是：什么是異步弯予？為什么要用異步戚宦？
我們先來(lái)講講為什么要用異步，對(duì)于爬蟲(chóng)來(lái)說(shuō)锈嫩，在能夠爬取到數(shù)據(jù)地前提下當(dāng)然是越快越好受楼，顯然傳統(tǒng)地同步代碼不能滿(mǎn)足我們對(duì)速度地需求。
這時(shí)候我們想到了多線(xiàn)程呼寸，雖然多線(xiàn)程能夠提高速度艳汽，但是單論效率來(lái)說(shuō)多線(xiàn)程是不如同步代碼的，因?yàn)檫€要花費(fèi)資源來(lái)管理線(xiàn)程
而且多線(xiàn)程還有資源競(jìng)爭(zhēng)的問(wèn)題对雪，這就不得不使用資源鎖來(lái)保證同一時(shí)間只有一個(gè)線(xiàn)程訪(fǎng)問(wèn)河狐，而這使得多線(xiàn)程的速度更加慢，這也是為什么在上一篇我們使用十個(gè)線(xiàn)程卻只達(dá)到 9倍速度的原因瑟捣。
而異步卻沒(méi)有這些問(wèn)題馋艺，異步雖然被稱(chēng)作異步，但本質(zhì)上異步代碼都是同步的迈套，它們都運(yùn)行在一個(gè)線(xiàn)程里捐祠，這樣就不需要考慮線(xiàn)程管理和資源競(jìng)爭(zhēng)的問(wèn)題了。
并且異步的速度非辰惶溃快雏赦，為什么是非常快而不是很快芙扎？因?yàn)楫惒秸娴奶炝恕?/p>
不說(shuō)廢話(huà)，我們拿數(shù)據(jù)說(shuō)事：
正常情況下我們請(qǐng)求一個(gè)頁(yè)面大概是 0.3到 0.8秒左右（帶寬 100m）
也就是說(shuō)如果我們請(qǐng)求同一個(gè)頁(yè)面 100次的話(huà)填大，最少也得花費(fèi) 30秒
如果換成異步呢戒洼？
使用異步如果只請(qǐng)求一個(gè)頁(yè)面的話(huà)，和同步差不多允华，也是在 0.3到 0.8之間
但是如果請(qǐng)求同一個(gè)頁(yè)面 100次的話(huà)圈浇，只需要要 3秒左右
國(guó)外有人做過(guò)測(cè)試：
| 請(qǐng)求次數(shù) | 花費(fèi)時(shí)間 |
|---|---|
| 100 | 3.48s |
| 1000 | 7s |
| 10k | 23s |
| 100k | 53s |
| 1000k | 9 min 3s |
(數(shù)據(jù)來(lái)源：Making 1 million requests with python-aiohttp)
從表中的數(shù)據(jù)可以看出來(lái)異步的最大速度可以達(dá)到 100k每分鐘，可以說(shuō)是非逞ゼ牛快了磷蜀。
在我的的測(cè)試中，最快達(dá)到了 2k每分鐘百炬，與上面的數(shù)據(jù)相差較大（難道是我的打開(kāi)方式不對(duì)褐隆？）。
不過(guò)不管怎樣剖踊，我們能夠確定異步很快庶弃。
對(duì)于一些異步的基本概念不了解的朋友可以去看這篇文章： 深入理解 Python 異步編程(上)
下面我們以一個(gè)簡(jiǎn)單的例子來(lái)了解一下異步的使用
二衫贬、異步的簡(jiǎn)單使用
在開(kāi)始之前，大家要牢記異步是單線(xiàn)程的歇攻，所以代碼中不能有非異步的 I/O 操作固惯。
像 requests、文件寫(xiě)入等 耗時(shí)的 I/O操作都不能直接使用缴守。
不過(guò)這些庫(kù)都有對(duì)應(yīng)的異步版本葬毫，比如 requests就可以使用 aiohttp代替。
下面我們來(lái)看一個(gè)簡(jiǎn)單的例子屡穗，來(lái)感受一下異步的速度：
首先我們使用 requests庫(kù)來(lái)請(qǐng)求百度首頁(yè)一次：
import time
import requests
def getBaiduPage():
url = 'https://www.baidu.com/'
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.84 Safari/537.36'
}
r = requests.get(url, headers=headers)
print(r.status_code)
start = time.time()
getBaiduPage()
end = time.time()
print(f'用時(shí){end - start} s')
輸出：
200
用時(shí)0.5322993278503418 s
我們?cè)僭囋囌?qǐng)求 10次:
start = time.time()
for i in range(10):
getBaiduPage()
end = time.time()
print(f'用時(shí){end - start} s')
輸出：
200
...
200
用時(shí)3.976729393005371 s
我們?cè)賮?lái)看看異步：
請(qǐng)求一次：
import time
import asyncio
import aiohttp
async def getBaiduPageAsync():
url = 'https://www.baidu.com/'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.84 Safari/537.36'
}
async with aiohttp.ClientSession() as session:
async with session.get(url, headers=headers) as response:
print(response.status)
start = time.time()
loop = asyncio.get_event_loop()
loop.run_until_complete(asyncio.ensure_future(getBaiduPageAsync()))
end = time.time()
print(f'用時(shí){end - start} s')
輸出：
200
用時(shí)0.599806547164917 s
用異步請(qǐng)求 10次：
start = time.time()
loop = asyncio.get_event_loop()
tasks = []
for i in range(10):
tasks.append(asyncio.ensure_future(getBaiduPageAsync()))
loop.run_until_complete(asyncio.wait(tasks))
end = time.time()
print(f'用時(shí){end - start} s')
輸出：
200
...
200
用時(shí)0.512629508972168 s
我們列個(gè)表格來(lái)看看贴捡，requests和 aiohttp之間的區(qū)別：
| 請(qǐng)求一次 | 請(qǐng)求十次 | |
|---|---|---|
| requests | 0.5322993278503418 s | 3.976729393005371 s |
| aiohttp | 0.599806547164917 s | 0.512629508972168 s |
通過(guò)表格我們不難發(fā)現(xiàn)，在請(qǐng)求一次的時(shí)候 requests和 aiohttp相差不大鸡捐，但是在請(qǐng)求十次的時(shí)候 requests和 aiohttp相差巨大栈暇，甚至 aiohttp請(qǐng)求十次所用的時(shí)間和請(qǐng)求一次的時(shí)間相當(dāng)。
其實(shí)這還不能體現(xiàn)出異步真正的速度箍镜，讓我們來(lái)看看使用異步請(qǐng)求 100次：
start = time.time()
loop = asyncio.get_event_loop()
tasks = []
for i in range(100):
tasks.append(asyncio.ensure_future(getBaiduPageAsync()))
loop.run_until_complete(asyncio.wait(tasks))
end = time.time()
print(f'用時(shí){end - start} s')
輸出：
200
...
200
用時(shí)1.6467080116271973 s
好像異步請(qǐng)求的頁(yè)面越多速度越快（⊙ｏ⊙）源祈。
別想多了ε=ε=ε=(￣￣)，其實(shí)異步的速度是有個(gè)上限的色迂，從我們的第一個(gè)表格來(lái)看香缺，這個(gè)上限是 100k每分鐘。
這里只寫(xiě)了一個(gè)簡(jiǎn)單的示例來(lái)測(cè)試異步請(qǐng)求的速度歇僧，關(guān)于異步的詳細(xì)使用我們留到下一篇图张。
想了解為什么異步如此快，可以閱讀： 深入理解 Python 異步編程(上)
