python爬蟲第1章 urllib庫(kù)（二） urllib發(fā)送post請(qǐng)求
一星持、構(gòu)建請(qǐng)求對(duì)象Request
先看看python urllib默認(rèn)的請(qǐng)求頭：
import urllib.request
url = r"http://www.baidu.com"
response = urllib.request.urlopen(url)
print(response.read())
執(zhí)行上面代碼宋渔，使用Charles抓包：
| GET / HTTP/1.1 | |
|---|---|
| Accept-Encoding | identity |
| Host | www.baidu.com |
| User-Agent | Python-urllib/3.6 |
| Connection | close |
User-Agent : Python-urllib/3.6 這是一點(diǎn)偽裝都沒有州疾，直接告訴服務(wù)器自己是python程序。服務(wù)器響不響應(yīng)數(shù)據(jù)那就很難說了皇拣。
那該怎么辦严蓖？需要偽裝自己的User-Agent（UA），讓服務(wù)器以為瀏覽器上網(wǎng)审磁。
構(gòu)建請(qǐng)求對(duì)象：urllib.request.Request （這是一個(gè)類）
import urllib.request
import ssl
def crawle(url):
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Maxthon/4.4.3.4000 Chrome/30.0.1599.101 Safari/537.36"
}
request = urllib.request.Request(url = url , headers = headers)
# 使用ssl創(chuàng)建未驗(yàn)證的上下文
# 必須要有這個(gè)參數(shù)谈飒，否則無法爬取https網(wǎng)頁
# 如果不加，報(bào)錯(cuò)：urllib.error.URLError: <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:833)>
context = ssl._create_unverified_context()
response = urllib.request.urlopen(request , context = context)
print(response.read().decode())
url = r"https://www.jd.com/"
crawle(url)
再次抓包：
| GET / HTTP/1.1 | |
|---|---|
| Accept-Encoding | identity |
| Host | www.jd.com |
| User-Agent | Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Maxthon/4.4.3.4000 Chrome/30.0.1599.101 Safari/537.36 |
| Connection | close |
二态蒂、POST請(qǐng)求案例：使用百度翻譯的sug接口查詢英語單詞
如何獲取這個(gè)接口杭措？瀏覽器打開https://fanyi.baidu.com/頁面，點(diǎn)擊F12鍵盤打開開發(fā)者工具钾恢，在頁面的輸入框輸入文字手素，如cat，就可以在開發(fā)者工具的Network中看到發(fā)送的請(qǐng)求瘩蚪。
import urllib.request
import urllib.parse
# 百度翻譯post請(qǐng)求的url
post_url = r"https://fanyi.baidu.com/sug"
word = input("請(qǐng)輸入需要搜索的英文單詞...")
form_data = {
"kw":word
}
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36"
}
# 對(duì)post參數(shù)進(jìn)行url編碼
# 必須是字節(jié)類型泉懦，否則報(bào)錯(cuò)：TypeError: POST data should be bytes, an iterable of bytes, or a file object. It cannot be of type str.
form_data = urllib.parse.urlencode(form_data).encode()
# 傳入url、請(qǐng)求頭構(gòu)建Request對(duì)象
request = urllib.request.Request(url = post_url,headers=headers)
# 發(fā)送post請(qǐng)求
response = urllib.request.urlopen(request,data=form_data)
print(response.read().decode())
獲取到了 unicode
{"errno":0,"data":[{"k":"cat","v":"n. \u732b; \u732b\u79d1\u52a8\u7269;"},{"k":"catch","v":"v. \u63a5\u4f4f; \u622a\u4f4f; \u62e6\u4f4f; \u63a5(\u843d\u4e0b\u7684\u6db2\u4f53); \u6293\u4f4f; \u63e1\u4f4f; n. \u63a5(\u7403\u7b49); \u603b\u6355\u83b7\u91cf; \u6263"},{"k":"category","v":"n. (\u4eba\u6216\u4e8b\u7269\u7684)\u7c7b\u522b\uff0c\u79cd\u7c7b;"},{"k":"cattle","v":"n. \u725b;"},{"k":"categories","v":"n. (\u4eba\u6216\u4e8b\u7269\u7684)\u7c7b\u522b\uff0c\u79cd\u7c7b; category\u7684\u590d\u6570;"}]}
unicode轉(zhuǎn)字符串后（可以在一些json格式轉(zhuǎn)化的網(wǎng)站進(jìn)行unicode轉(zhuǎn)字符串疹瘦，如http://www.bejson.com/）：
{
"errno": 0,
"data": [{
"k": "cat",
"v": "n. 貓; 貓科動(dòng)物;"
}, {
"k": "catch",
"v": "v. 接住; 截住; 攔住; 接(落下的液體); 抓住; 握住; n. 接(球等); 總捕獲量; 扣"
}, {
"k": "category",
"v": "n. (人或事物的)類別崩哩，種類;"
}, {
"k": "cattle",
"v": "n. 牛;"
}, {
"k": "categories",
"v": "n. (人或事物的)類別，種類; category的復(fù)數(shù);"
}]
}
