大家好宿亡，我是劍南常遂！

為了做一篇教程，我竟把一個(gè)小說(shuō)網(wǎng)站給搞崩潰了挽荠，著實(shí)給我下了一跳克胳，每次都是報(bào)出503的錯(cuò)誤代碼圈匆，意思是服務(wù)器不可訪問(wèn)漠另，就是因?yàn)槲矣脜f(xié)程寫(xiě)了個(gè)爬蟲(chóng)程序。

注意：本文僅僅提供學(xué)習(xí)使用跃赚，不可破壞網(wǎng)絡(luò)笆搓，否則后果自負(fù)Ｐ允！

因?yàn)榉?wù)器接受不了這么大的壓力满败，導(dǎo)致資源暫時(shí)無(wú)法訪問(wèn)肤频，所以當(dāng)我停止爬蟲(chóng)程序的時(shí)候，該小說(shuō)網(wǎng)站逐漸恢復(fù)正常算墨。

如果你有認(rèn)真閱讀我的博文的話宵荒，你會(huì)發(fā)現(xiàn)對(duì)多線程、隊(duì)列净嘀、多進(jìn)程的文章我分別只總結(jié)了一篇报咳，但是關(guān)于協(xié)程的文章，今天是我第五次寫(xiě)了挖藏，說(shuō)實(shí)話少孝，協(xié)程涉及到的坑太多，也不容易熬苍，需要一次次總結(jié)自己所遇到的問(wèn)題以及優(yōu)化之前的代碼。

關(guān)于多線程袁翁、多進(jìn)程柴底、隊(duì)列等知識(shí)，我現(xiàn)在用到的比較少粱胜，因此總結(jié)的只有一篇柄驻，望讀者見(jiàn)諒。

協(xié)程

協(xié)程的本質(zhì)是單線程焙压，它只是利用了程序中的延時(shí)時(shí)間鸿脓，在不斷的切換所執(zhí)行的代碼塊。協(xié)程切換任務(wù)效率高涯曲，利用線程延時(shí)等待的時(shí)間野哭，因此在實(shí)際處理時(shí)優(yōu)先考慮使用協(xié)程。

初識(shí)異步http框架httpx

對(duì)協(xié)程不了解的小伙伴可以考慮翻出我之前寫(xiě)的文章幻件，做簡(jiǎn)單的了解拨黔。對(duì)于requests庫(kù)相信大家都不會(huì)陌生，但是requests中實(shí)現(xiàn)的http請(qǐng)求是同步請(qǐng)求绰沥，但是其實(shí)基于http請(qǐng)求的I/O阻塞特性篱蝇，非常適合用協(xié)程來(lái)實(shí)現(xiàn)異步http請(qǐng)求。

httpx繼承了所有requests的特性并且支持異步http請(qǐng)求的開(kāi)源庫(kù)徽曲。

安裝httpx

pip install httpx

實(shí)踐

接下來(lái)我將使用httpx同步與異步的方式對(duì)批量的http請(qǐng)求進(jìn)行耗時(shí)比較零截，來(lái)一起看看結(jié)果吧。

import httpx
import threading
import time


def send_requests(url, sign):
    status_code = httpx.get(url).status_code
    print(f'send_requests:{threading.current_thread()}:{sign}: {status_code}')


start = time.time()
url = 'http://www.httpbin.org/get'
[send_requests(url, sign=i) for i in range(200)]
end = time.time()
print('運(yùn)行時(shí)間：', int(end - start))

代碼比較簡(jiǎn)單秃臣，可以看出send_requests中實(shí)現(xiàn)了同步訪問(wèn)了目標(biāo)地址200次涧衙。

部分運(yùn)行結(jié)果，如下所示：

send_requests:<_MainThread(MainThread, started 9552)>:191: 200
send_requests:<_MainThread(MainThread, started 9552)>:192: 200
send_requests:<_MainThread(MainThread, started 9552)>:193: 200
send_requests:<_MainThread(MainThread, started 9552)>:194: 200
send_requests:<_MainThread(MainThread, started 9552)>:195: 200
send_requests:<_MainThread(MainThread, started 9552)>:196: 200
send_requests:<_MainThread(MainThread, started 9552)>:197: 200
send_requests:<_MainThread(MainThread, started 9552)>:198: 200
send_requests:<_MainThread(MainThread, started 9552)>:199: 200
運(yùn)行時(shí)間： 102

從運(yùn)行結(jié)果上可以看到，主線程是按照順序執(zhí)行的绍撞，因?yàn)檫@是同步請(qǐng)求正勒。

程序共耗時(shí)102秒。

它來(lái)了傻铣，它來(lái)了章贞，下面就讓我們?cè)囋嚠惒降膆ttp請(qǐng)求，看看它會(huì)給我們帶來(lái)什么樣的驚喜非洲。

import asyncio
import httpx
import threading
import time


client = httpx.AsyncClient()


async def async_main(url, sign):

    response = await client.get(url)
    status_code = response.status_code
    print(f'{threading.current_thread()}:{sign}:{status_code}')


def main():
    loop = asyncio.get_event_loop()
    tasks = [async_main(url='https://www.baidu.com', sign=i) for i in range(200)]
    async_start = time.time()
    loop.run_until_complete(asyncio.wait(tasks))
    async_end = time.time()
    loop.close()
    print('運(yùn)行時(shí)間：', async_end-async_start)


if __name__ == '__main__':
    main()

部分運(yùn)行結(jié)果鸭限，如下所示：

<_MainThread(MainThread, started 13132)>:113:200
<_MainThread(MainThread, started 13132)>:51:200
<_MainThread(MainThread, started 13132)>:176:200
<_MainThread(MainThread, started 13132)>:174:200
<_MainThread(MainThread, started 13132)>:114:200
<_MainThread(MainThread, started 13132)>:49:200
<_MainThread(MainThread, started 13132)>:52:200
運(yùn)行時(shí)間： 1.4899322986602783

看到這個(gè)運(yùn)行時(shí)間有沒(méi)有讓你嚇一大跳，居然在1秒多的時(shí)間里两踏，向百度訪問(wèn)了200次败京。速度快到飛起。

限制并發(fā)數(shù)

前面我講過(guò)并發(fā)數(shù)太大會(huì)導(dǎo)致服務(wù)器崩潰梦染，因此我們要考慮限制并發(fā)數(shù)赡麦，那么當(dāng)asyncio與httpx結(jié)合的時(shí)候應(yīng)該怎么樣限制并發(fā)數(shù)呢？

使用Semaphore

asyncio其實(shí)自帶了一個(gè)限制協(xié)程數(shù)量的類帕识，叫做Semaphore泛粹。我們只需要初始化它，傳入最大允許協(xié)程數(shù)量肮疗，然后就可以通過(guò)上下文管理器晶姊。具體代碼如下所示：

import asyncio
import httpx
import time


async def send_requests(delay, sem):
    print(f'請(qǐng)求一個(gè)延時(shí)為{delay}秒的接口')
    await asyncio.sleep(delay)
    async with sem:
        # 執(zhí)行并發(fā)的代碼
        async with httpx.AsyncClient(timeout=20) as client:
            resp = await client.get('http://www.httpbin.org/get')
            print(resp)


async def main():
    start = time.time()
    delay_list = [3, 6, 1, 8, 2, 4, 5, 2, 7, 3, 9, 8]
    task_list = []
    sem = asyncio.Semaphore(3)
    for delay in delay_list:
        task = asyncio.create_task(send_requests(delay, sem))
        task_list.append(task)
    await asyncio.gather(*task_list)
    end = time.time()
    print('一共耗時(shí)：', end-start)


asyncio.run(main())

部分運(yùn)行結(jié)果，如下所示：

<Response [200 OK]>
<Response [200 OK]>
<Response [200 OK]>
<Response [200 OK]>
<Response [200 OK]>
<Response [200 OK]>
<Response [200 OK]>
<Response [200 OK]>
一共耗時(shí)： 9.540421485900879

但是伪货，如果想要在1分鐘內(nèi)只有3個(gè)協(xié)程们衙，又該如何處理呢？

只需要將代碼改成如下圖所示就行：

async def send_requests(delay, sem):
    print(f'請(qǐng)求一個(gè)延時(shí)為{delay}秒的接口')
    await asyncio.sleep(delay)
    async with sem:
        # 執(zhí)行并發(fā)的代碼
        async with httpx.AsyncClient(timeout=20) as client:
            resp = await client.get('http://www.httpbin.org/get')
            print(resp)
    await asyncio.sleep(60)

總結(jié)

如果大家要限制協(xié)程的并發(fā)數(shù)碱呼，那么最簡(jiǎn)單的方式就是使用Semaphore蒙挑。但是需要注意的是，只能在啟動(dòng)協(xié)程之前初始化巍举，然后傳給協(xié)程脆荷，確保并發(fā)協(xié)程拿到的是同一個(gè)Semaphore對(duì)象。

當(dāng)然懊悯，在程序里面也有可能出現(xiàn)不同部分蜓谋，每個(gè)部分的并發(fā)數(shù)可能是不同的，因此需要初始化多個(gè)Semaphore對(duì)象炭分。

實(shí)戰(zhàn)-筆趣閣

網(wǎng)頁(yè)分析

小說(shuō)首頁(yè)

首先在小說(shuō)的主頁(yè)桃焕，可以發(fā)現(xiàn)所有小說(shuō)的章節(jié)鏈接都在dd標(biāo)簽下的a標(biāo)簽內(nèi)的href屬性中。

首先第一步要做的就是拿到所有的章節(jié)鏈接捧毛。

接下來(lái)要做的就是观堂，進(jìn)入每一個(gè)章節(jié)让网，獲取其中的內(nèi)容。

小說(shuō)章節(jié)

從上圖可以看到师痕，文章內(nèi)容在<div id="content">標(biāo)簽中溃睹，在圖片中可以發(fā)現(xiàn)大量的換行，因此在寫(xiě)代碼時(shí)需要做進(jìn)一步去除空格的處理胰坟。

獲取網(wǎng)頁(yè)源碼

async def get_home_page(url, sem):
    async with sem:
        async with httpx.AsyncClient(timeout=20) as client:
            resp = await client.get(url)
            resp.encoding = 'utf-8'
            html = resp.text
            return html

獲取所有的章節(jié)鏈接

async def parse_home_page(sem):
    async with sem:
        url = 'https://www.biqugeu.net/13_13883/'
        html = etree.HTML(await get_home_page(url, sem))
        content_urls = ['https://www.biqugeu.net/' + url for url in html.xpath('//dd/a/@href')]
        return content_urls

在這里需要注意因篇，我多做了一個(gè)操作那就是拼接url，因?yàn)槲覀冏ト〉降膗rl并不是完整的因此需要做簡(jiǎn)單的拼接笔横。

保存數(shù)據(jù)

async def data_save(url, sem):
    async with sem:
        html = etree.HTML(await get_home_page(url, sem))
        title = html.xpath('//h1/text()')[0]
        contents = html.xpath('//div[@id="content"]/text()')
        print(f'正在下載{title}')
        for content in contents:
            text = ''.join(content.split())

            with open(f'./金枝2/{title}.txt', 'a', encoding='utf-8') as f:
                f.write(text)
                f.write('\n')

將上面獲取到的url傳入data_save()函數(shù)中竞滓，對(duì)每一個(gè)url進(jìn)行解析，獲取文本內(nèi)容吹缔，再進(jìn)行保存商佑。

創(chuàng)建協(xié)程任務(wù)

async def main():
    sem = asyncio.Semaphore(20)
    urls = await parse_home_page(sem)
    tasks_list = []
    for url in urls:
        task = asyncio.create_task(data_save(url, sem))
        tasks_list.append(task)
    await asyncio.gather(*tasks_list)

結(jié)果展示

抓取結(jié)果

不到一分鐘的時(shí)間，便將所有的小說(shuō)都抓取下來(lái)了厢塘，試想一下茶没，如果是普通爬蟲(chóng)要多久？

起碼737秒Ｍ砟搿礁叔！

最后

這次會(huì)是我最后一次寫(xiě)協(xié)程碼？肯定不是啦迄薄，還有一篇關(guān)于異步網(wǎng)絡(luò)請(qǐng)求庫(kù)Aiohttp，等我遇到之后再分享給大家煮岁。

本次分享到這里就結(jié)束了讥蔽，如果你看到了這里，希望你可以給我點(diǎn)個(gè)【贊】與【再看】画机，如果可以冶伞，請(qǐng)你分享給更多的人一起學(xué)習(xí)逼侦。

文章的每一個(gè)字都是我用心寫(xiě)出來(lái)的峡懈，你的【點(diǎn)贊】會(huì)讓我知道，你就是那個(gè)和我一起努力的人嘉蕾。