Python 爬蟲實戰(zhàn)（一）：使用 requests 和 BeautifulSoup斩芭，我們使用了 requests 做網(wǎng)絡(luò)請求，拿到網(wǎng)頁數(shù)據(jù)再用 BeautifulSoup 解析，就在前不久闽寡，requests 作者 kennethreitz 出了一個新庫 requests-html吠冤，Pythonic HTML Parsing for Humans?，它可以用于解析 HTML 文檔的秽梅。requests-html 是基于現(xiàn)有的框架 PyQuery抹蚀、Requests、lxml 等庫進行了二次封裝企垦，更加方便開發(fā)者調(diào)用环壤。
安裝
Mac：
pip3 install requests-html
Windows：
pip install requests-html
實例
代碼擼多了，讓我們看會妹紙竹观，爬的網(wǎng)站我選的是 http://www.win4000.com/zt/xinggan.html 镐捧，打開網(wǎng)站潜索，觀察到這是個列表，圖片是縮略圖懂酱，要想保存圖片到本地竹习，當(dāng)然需要高清大圖，因此得進入列表詳情列牺，進一步解析整陌，完整代碼如下：
from requests_html import HTMLSession
import requests
import time
session = HTMLSession()
# 解析圖片列表
def get_girl_list():
# 返回一個 response 對象
response = session.get('http://www.win4000.com/zt/xinggan.html') # 單位秒數(shù)
content = response.html.find('div.Left_bar', first=True)
li_list = content.find('li')
for li in li_list:
url = li.find('a', first=True).attrs['href']
get_girl_detail(url)
# 解析圖片詳細(xì)
def get_girl_detail(url):
# 返回一個 response 對象
response = session.get(url) # 單位秒數(shù)
content = response.html.find('div.scroll-img-cont', first=True)
li_list = content.find('li')
for li in li_list:
img_url = li.find('img', first=True).attrs['data-original']
img_url = img_url[0:img_url.find('_')] + '.jpg'
print(img_url + '.jpg')
save_image(img_url)
# 保持大圖
def save_image(img_url):
img_response = requests.get(img_url)
t = int(round(time.time() * 1000)) # 毫秒級時間戳
f = open('/Users/wuxiaolong/Desktop/Girl/%d.jpg' % t, 'ab') # 存儲圖片，多媒體文件需要參數(shù)b（二進制文件）
f.write(img_response.content) # 多媒體存儲content
f.close()
if __name__ == '__main__':
get_girl_list()
代碼就這么多瞎领，是不是感覺很簡單啊泌辫。
說明：
1、requests-html 與 BeautifulSoup 不同九默，可以直接通過標(biāo)簽來 find震放，一般如下：
標(biāo)簽
標(biāo)簽.someClass
標(biāo)簽#someID
標(biāo)簽[target=_blank]
參數(shù) first 是 True，表示只返回 Element 找到的第一個驼修，更多使用：http://html.python-requests.org/ 殿遂；
2、這里保存本地路徑 /Users/wuxiaolong/Desktop/Girl/我寫死了乙各，需要讀者改成自己的墨礁，如果直接是文件名，保存路徑將是項目目錄下耳峦。
遺留問題
示例所爬網(wǎng)站是分頁的恩静，沒有做，可以定時循環(huán)來爬妹紙哦蹲坷，有興趣的讀者自己玩下驶乾。
參考
今天用了一下Requests-HTML庫（Python爬蟲）
公眾號
我的公眾號：吳小龍同學(xué)，歡迎交流～
