上班想摸魚(yú)榛泛？為了摸魚(yú)方便嚎研，今天自己寫(xiě)了個(gè)爬取筆閣小說(shuō)的程序蓖墅。好吧，其實(shí)就是找個(gè)目的學(xué)習(xí)python，分享一下置媳。

1. 首先導(dǎo)入相關(guān)的模塊

import os
import requests
from bs4 import BeautifulSoup

2. 向網(wǎng)站發(fā)送請(qǐng)求并獲取網(wǎng)站數(shù)據(jù)

在這里插入圖片描述

網(wǎng)站鏈接最后的一位數(shù)字為一本書(shū)的id值于樟，一個(gè)數(shù)字對(duì)應(yīng)一本小說(shuō)，我們以id為1的小說(shuō)為示例拇囊。
進(jìn)入到網(wǎng)站之后迂曲，我們發(fā)現(xiàn)有一個(gè)章節(jié)列表，那么我們首先完成對(duì)小說(shuō)列表名稱(chēng)的抓取

# 聲明請(qǐng)求頭
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.182 Safari/537.36'
}

# 創(chuàng)建保存小說(shuō)文本的文件夾
if not os.path.exists('./小說(shuō)'):
    os.mkdir('./小說(shuō)/')

# 訪(fǎng)問(wèn)網(wǎng)站并獲取頁(yè)面數(shù)據(jù)
response = requests.get('http://www.biquw.com/book/1/').text
print(response)

在這里插入圖片描述

寫(xiě)到這個(gè)地方同學(xué)們可能會(huì)發(fā)現(xiàn)了一個(gè)問(wèn)題寥袭，當(dāng)我去正常訪(fǎng)問(wèn)網(wǎng)站的時(shí)候?yàn)槭裁捶祷鼗貋?lái)的數(shù)據(jù)是亂碼呢路捧？

這是因?yàn)轫?yè)面html的編碼格式與我們python訪(fǎng)問(wèn)并拿到數(shù)據(jù)的解碼格式不一致導(dǎo)致的，python默認(rèn)的解碼方式為utf-8传黄，但是頁(yè)面編碼可能是GBK或者是GB2312等杰扫，所以我們需要讓python代碼很具頁(yè)面的解碼方式自動(dòng)變化

#### 重新編寫(xiě)訪(fǎng)問(wèn)代碼
```python
response = requests.get('http://www.biquw.com/book/1/')
response.encoding = response.apparent_encoding
print(response.text)

'''
這種方式返回的中文數(shù)據(jù)才是正確的
'''

3. 拿到頁(yè)面數(shù)據(jù)之后對(duì)數(shù)據(jù)進(jìn)行提取

當(dāng)大家通過(guò)正確的解碼方式拿到頁(yè)面數(shù)據(jù)之后，接下來(lái)需要完成靜態(tài)頁(yè)面分析了膘掰。我們需要從整個(gè)網(wǎng)頁(yè)數(shù)據(jù)中拿到我們想要的數(shù)據(jù)(章節(jié)列表數(shù)據(jù))

1. 首先打開(kāi)瀏覽器
2. 按F12調(diào)出開(kāi)發(fā)者工具
3. 選中元素選擇器
4. 在頁(yè)面中選中我們想要的數(shù)據(jù)并定位元素

5. 觀察數(shù)據(jù)所存在的元素標(biāo)簽

   
   
   在這里插入圖片描述

'''
根據(jù)上圖所示章姓，數(shù)據(jù)是保存在a標(biāo)簽當(dāng)中的。a的父標(biāo)簽為li识埋，li的父標(biāo)簽為ul標(biāo)簽凡伊，ul標(biāo)簽之上為div標(biāo)簽。所以如果想要獲取整個(gè)頁(yè)面的小說(shuō)章節(jié)數(shù)據(jù)窒舟，那么需要先獲取div標(biāo)簽系忙。并且div標(biāo)簽中包含了class屬性，我們可以通過(guò)class屬性獲取指定的div標(biāo)簽惠豺，詳情看代碼~
'''
# lxml: html解析庫(kù) 將html代碼轉(zhuǎn)成python對(duì)象银还，python可以對(duì)html代碼進(jìn)行控制
soup = BeautifulSoup(response.text, 'lxml')
book_list = soup.find('div', class_='book_list').find_all('a')
# soup對(duì)象獲取批量數(shù)據(jù)后返回的是一個(gè)列表，我們可以對(duì)列表進(jìn)行迭代提取
for book in book_list:
    book_name = book.text
    # 獲取到列表數(shù)據(jù)之后洁墙，需要獲取文章詳情頁(yè)的鏈接蛹疯，鏈接在a標(biāo)簽的href屬性中
    book_url = book['href']

4. 獲取到小說(shuō)詳情頁(yè)鏈接之后進(jìn)行詳情頁(yè)二次訪(fǎng)問(wèn)并獲取文章數(shù)據(jù)

book_info_html = requests.get('http://www.biquw.com/book/1/' + book_url, headers=headers)
book_info_html.encoding = book_info_html.apparent_encoding
soup = BeautifulSoup(book_info_html.text, 'lxml')

5. 對(duì)小說(shuō)詳情頁(yè)進(jìn)行靜態(tài)頁(yè)面分析

在這里插入圖片描述

info = soup.find('div', id='htmlContent')
print(info.text)

6. 數(shù)據(jù)下載

with open('./小說(shuō)/' + book_name + '.txt', 'a', encoding='utf-8') as f:
    f.write(info.text)

最后讓我們看一下代碼效果吧~

在這里插入圖片描述

抓取的數(shù)據(jù)

在這里插入圖片描述

在這里插入圖片描述

今天的分享就到這里了，希望對(duì)你有幫助热监。

在這里插入圖片描述