此系列筆記來源于
中國大學(xué)MOOC-北京理工大學(xué)-嵩天老師的Python系列課程
1. Requests庫入門
- 安裝:管理員方式打開CMD-輸入
pip install requests
安裝Requests庫 -
Requests庫的七個(gè)主要方法:
庫方法 -
get方法
r = requests.get(url):右邊構(gòu)造一個(gè)向服務(wù)器請(qǐng)求資源的Requests對(duì)象,左邊返回一個(gè)包含服務(wù)器資源的Response對(duì)象給r
完整參數(shù):requests.get(url,params=None,**kwargs),實(shí)則由request方法封裝
Resonse對(duì)象的五個(gè)屬性:
屬性 -
爬取網(wǎng)頁的通用代碼框架
Requests庫爬取網(wǎng)頁會(huì)遇到異常:
6種常用異常
使用r.raise_for_status()方法構(gòu)建通用代碼框架:
def getHTMLText(url)
try:
r = requests.get(url,timeout = 30)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
return "產(chǎn)生異常"
- HTTP協(xié)議及Requests庫方法
HTTP(Hypertext Transfer Protocol,超文本傳輸協(xié)議)是一個(gè)基于"請(qǐng)求與響應(yīng)"模式的/無狀態(tài)的應(yīng)用層協(xié)議;URL是通過HTTP協(xié)議存取資源的Internet路徑
HTTP協(xié)議對(duì)資源的操作:
HTTP方法
Requests庫主要方法:requests.request(method,url,**kwargs)- method(請(qǐng)求方式)包括:
GET/HEAD/POST/PUT/PATCH/delete/OPTIONS - **kwargs(控制訪問參數(shù))包括:
params(添加鍵值到url后)/data(字典/字節(jié)序列等作為Request的內(nèi)容)/json/headers(HTTP定制頭)/cookies(Request中的cookie)/auth(元祖,支持HTTP認(rèn)證)/files(傳輸文件)/timeout/proxies(設(shè)定訪問代理服務(wù)器)/allow_redirects(重定向開關(guān))/stream(獲取內(nèi)容立即下載開關(guān))/verify(認(rèn)證SSL證書開關(guān))/cert(本地SSL證書路徑)
- method(請(qǐng)求方式)包括:
2. 網(wǎng)絡(luò)爬蟲的盜亦有道
-
網(wǎng)絡(luò)爬蟲引發(fā)的問題
網(wǎng)絡(luò)爬蟲的尺寸- 網(wǎng)絡(luò)爬蟲可能會(huì)給Web服務(wù)器帶來巨大的資源開銷
- 網(wǎng)絡(luò)爬蟲獲取數(shù)據(jù)后可能會(huì)帶來法律風(fēng)險(xiǎn)
- 網(wǎng)絡(luò)爬蟲可能會(huì)造成隱私泄露
對(duì)網(wǎng)絡(luò)爬蟲的限制: - 來源審查:檢查來訪HTTP協(xié)議頭的User-Agent域
- 發(fā)布公告:Robots協(xié)議
-
Robots協(xié)議(Robots Exclusion Standard,網(wǎng)絡(luò)爬蟲排除標(biāo)準(zhǔn))
爬蟲應(yīng)自動(dòng)或人工識(shí)別robots.txt,但Robots協(xié)議是建議但非約束性
Robots協(xié)議需要遵守嗎?
3. Requests庫爬取實(shí)例
- 京東商品頁面的爬取
import requests
url = "http://item.jd.com/2967929.html"
try:
r=requests.get(url)
r.raise_for_status()
r.encoding=r.apparent_encoding
print(r.text[:1000])
except:
print("爬取失敗")
-
亞馬遜商品頁面的爬取
按實(shí)例1的步驟去做發(fā)現(xiàn)出現(xiàn)了錯(cuò)誤:
意外錯(cuò)誤
發(fā)現(xiàn)是由于亞馬遜有自身的頭部審查,故我們模擬瀏覽器訪問:
import requests
url = "http://www.amazon.cn/gp/product/B01M8L5Z3Y"
try:
kv = {'user-agent':'Mozilla/5.0'}
r= requests.get(url,header = kv)
r.raise_for_status()
r.encoding=r.apparent_encoding
print(r.text[1000:2000])
except:
print("爬取失敗")
- 百度/360搜索關(guān)鍵詞提交
首先我們需要知道搜索關(guān)鍵詞的提交接口:
百度:http://www.baidu.com/s?wd=keyword
360:http://www.so.com/s?q=keyword
接下來我們可以利用params參數(shù)將關(guān)鍵詞加入,代碼如下:
import requests
keyword = "Python"
try:
kv = {'wd':keyword}
r= requests.get("http://www.baidu.com/s",params = kv)
print(r.requrst.url)
r.raise_for_status()
print(len(r.text))
except:
print("爬取失敗")
- 網(wǎng)絡(luò)圖片的爬取和存儲(chǔ)
import requests
import os
url = "http://image.nationalgeographic.com.cn/2017/0311/20170311024522382.jpg"
root = "D://pics//"
path = root +url.split('/')[-1]
try:
if not os.path.exists(root):
os.mkdir(root)
if not os.path.exists(path):
r=requests.get(url)
with open(path,'wb') as f:
f.writr(r.content)
f.close()
print("文件保存成功")
else:
print("文件已存在")
except:
print("爬取失敗")
- IP地址歸屬地的查詢
import requests
url = "http://m.ip138.com/ip.asp?ip="
try:
r= requests.get(url + '202.204.80.112')
r.raise_for_status()
r.encoding=r.apparent_encoding
print(r.text[-500:])
except:
print("爬取失敗")
