詳細(xì)學(xué)習(xí)requests_html庫
官方文檔：
http://html.python-requests.org/
安裝
pip3 install requests_html
獲取網(wǎng)頁：
from requests_html import HTMLSession,HTML
session = HTMLSession()
url = "https://www.qiushibaike.com/text/"
h = session.get(url=url)
requests-html和其他解析HTML庫最大的不同點(diǎn)在于HTML解析庫一般都是專用的，所以我們需要用另一個HTTP庫先把網(wǎng)頁下載下來说莫，然后傳給那些HTML解析庫杨箭。
而requests-html自帶了這個功能，所以在爬取網(wǎng)頁等方面非常方便
查看頁面內(nèi)容
print(h.html.html)
獲取連接：
links和absolute_links兩個屬性分別返回HTML對象所包含的所有鏈接和絕對鏈接（均不包含錨點(diǎn)）
相對路徑
for _ in h.html.links:
print(_)
絕對路徑
for _ in h.html.absolute_links:
print(_)
獲取元素：
request-html支持CSS選擇器和XPATH兩種語法來選取HTML元素唬滑。
1告唆、CSS選擇器語法棺弊，它需要使用HTML的find函數(shù)晶密，該函數(shù)有5個參數(shù)，作用如下：
- selector模她，要用的CSS選擇器稻艰；
- clean，布爾值侈净，如果為真會忽略HTML中style和script標(biāo)簽造成的影響（原文是sanitize尊勿，大概這么理解）;
- containing，如果設(shè)置該屬性畜侦，會返回包含該屬性文本的標(biāo)簽元扔；
- first，布爾值旋膳，如果為真會返回第一個元素澎语，否則會返回滿足條件的元素列表；
- _encoding验懊，編碼格式擅羞。
首頁菜單文本
print(h.html.find('div#menu',first=True).text)
查看菜單元素
print(h.html.find('div#menu a'))
段子內(nèi)容
list_story = []
for i in h.html.find('div.content span'):
# print(i.text)
# print()
list_story.append(i.text)
print(list_story)
2、XPATH語法义图，這需要另一個函數(shù)xpath的支持减俏，它有4個參數(shù)如下：
- selector，要用的XPATH選擇器碱工；
- clean娃承，布爾值奏夫，如果為真會忽略HTML中style和script標(biāo)簽造成的影響（原文是sanitize，大概這么理解）;
- first草慧，布爾值桶蛔，如果為真會返回第一個元素，否則會返回滿足條件的元素列表漫谷；
- _encoding仔雷，編碼格式。
獲取首頁菜單文本
print(h.html.xpath("http://div[@id='menu']",first=True).text)
查看菜單元素
print(h.html.xpath("http://div[@id='menu']/a"))
段子內(nèi)容
print(h.html.xpath("http://div[@class='content']/span/text()"))
元素內(nèi)容
e = h.html.find('div#hd_logo',first=True)
print(e.text)
要獲取元素的attribute舔示，用attr屬性
print(e.attrs)
獲取元素的html代碼
print(e.html)
要搜索元素的文本內(nèi)容碟婆，用search函數(shù)
print(e.search('糗{事}{}科')[0])
兩個鏈接屬性
print(e.links) # 相對路徑
print(e.absolute_links) # 絕對路徑
JavaScript支持
r = session.get('http://python-requests.org/')
r.html.render()
3、render函數(shù)還有一些參數(shù)惕稻，順便介紹一下（這些參數(shù)有的還有默認(rèn)值竖共，直接看源代碼方法參數(shù)列表即可）：
- retries: 加載頁面失敗的次數(shù)
- script: 頁面上需要執(zhí)行的JS腳本（可選）
- wait: 加載頁面錢的等待時間（秒），防止超時（可選）
- scrolldown: 頁面向下滾動的次數(shù)
- sleep: 在頁面初次渲染之后的等待時間
- reload: 如果為假俺祠，那么頁面不會從瀏覽器中加載公给，而是從內(nèi)存中加載
- keep_page: 如果為真，允許你用r.html.page訪問頁面
智能分頁
rq = session.get("https://reddit.com")
for html in rq.html:
print(html)
直接使用HTML
doc = """
<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="gbk2312">
<title>首頁</title>
</head>
<body>
<h1>Hello, world!</h1>
<p>這是一個神奇的網(wǎng)站蜘渣！</p>
<hr>
<div>
<h2>這是一個例子程序</h2>
<p>靜夜思</p>
<p class="foo">床前明月光</p>
<p id="bar">疑似地上霜</p>
<p class="foo">舉頭望明月</p>
<div><a ><p>低頭思故鄉(xiāng)</p></a></div>
</div>
<a class="foo" >騰訊網(wǎng)</a>
<img src="./img/pretty-girl.png" alt="美女">
<img src="./img/hellokitty.png" alt="凱蒂貓">
<img src="/static/img/pretty-girl.png" alt="美女">
<table>
<tr>
<th>姓名</th>
<th>上場時間</th>
<th>得分</th>
<th>籃板</th>
<th>助攻</th>
</tr>
</table>
</body>
</html>
test_html = HTML(html=doc)
print(test_html.links)
直接渲染JS代碼
script = """
() => {
return {
width: document.documentElement.clientWidth,
height: document.documentElement.clientHeight,
deviceScaleFactor: window.devicePixelRatio,
}
}
"""
my_html = test_html.render(script=script,reload=False)
print(my_html)
print(test_html.html)
自定義請求
4淌铐、自定義用戶代理：有些網(wǎng)站會使用UA來識別客戶端類型，有時候需要偽造UA來實(shí)現(xiàn)某些操作蔫缸。
如果查看文檔的話會發(fā)現(xiàn)HTMLSession上的很多請求方法都有一個額外的參數(shù)**kwargs腿准，
這個參數(shù)用來向底層的請求傳遞額外參數(shù)。我們先向網(wǎng)站發(fā)送一個請求拾碌，看看返回的網(wǎng)站信息
from pprint import pprint # 提供了可以按照某個格式正確的顯示python已知類型數(shù)據(jù)的一種方法
import json
pp_r = session.get('http://httpbin.org/get')
pprint(json.loads(pp_r.html.html))
更換UA ,這里拿UA距離吐葱，如果有需要可以在header中修改其他參數(shù)
ua = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:62.0) Gecko/20100101 Firefox/62.0'
ppp_r = session.get('http://httpbin.org/get',headers={'user-agent': ua})
pprint(json.loads(ppp_r.html.html))
模擬表單登陸：
HTMLSession帶了一整套的HTTP方法，包括get校翔、post弟跑、delete等，對應(yīng)HTTP中各個方法防症。比如下面我們就來模擬一下表單登錄
表單登陸
r1 = session.post('http://httpbin.org/post', data={'username': 'good', 'passwd': 123456})
pprint(json.loads(r1.html.html))
實(shí)例：爬去自己簡書文章
my_url = 'http://www.reibang.com/u/1f9e71a85238'
my_requests = session.get(url=my_url)
my_requests.html.render(scrolldown=50,sleep=2)
titles = my_requests.html.find('a.title')
for i,title in enumerate(titles):
print(f'{i+1} {title.text}：http://www.reibang.com{title.attrs["href"]}')
