;p
Requests庫(kù)的7個(gè)主要方法
1.
?1.get方法
??????? r=requests.get(url)
????????? Response/ Request
Response對(duì)象的屬性
通用代碼框架
def? getHtmlText(url):
?????? try:
????????? ?? r=requests.get(url,timeout=30)
???????? ? ? r.raise_for_status()
???????? ? ? r.encoding=r.apparent_encoding
????????? ?? returnr.text
??????? except:
???????????? return""
HTTP協(xié)議
??? Hypertext transfer protocol? 基于請(qǐng)求與響應(yīng)、無(wú)狀態(tài)
網(wǎng)絡(luò)爬蟲的尺寸
Robots協(xié)議
網(wǎng)絡(luò)爬蟲排除標(biāo)準(zhǔn)/建議遵守
——>判斷User-Agent進(jìn)行限制
?
