urllib2默認(rèn)的只支持HTTP/HTTPS的GET和POST方法。
urllib僅可以接受url批狱,不能創(chuàng)建headers和request類實(shí)例寻定。
但是urllib有urlencode方法用來GET查詢字符串的產(chǎn)生。但urllib2是沒有的精耐。(所有需要urllib和urilib2一起使用)
編碼工作使用urllib的urlencode()函數(shù),幫我們將key:value這樣的鍵值對轉(zhuǎn)換成"key=value"這樣的字符串琅锻,解碼工作可以使用urllib的unquote()函數(shù)卦停。(注意,不是urllib2.urlencode() )
代碼1:
# IPython2 中
In [1]: import urllib
In [2]: word = {"wd" : "你好"}
# 通過urllib.urlencode()方法恼蓬,將字典鍵值對按URL編碼轉(zhuǎn)換惊完,從而能被web服務(wù)器接受。
In [3]: urllib.urlencode(word)
Out[3]: "wd=%E4%BD%A0%E5%A5%BD"
# 通過urllib.unquote()方法处硬,把 URL編碼字符串小槐,轉(zhuǎn)換回原先字符串。
In [4]: print urllib.unquote("wd=%%E4%BD%A0%E5%A5%BD")
wd=你好
一般HTTP請求提交的數(shù)據(jù)荷辕,需要編碼程URL編碼格式凿跳,作為url的一部分或者作為Request對象的參數(shù)。
GET方式
get請求用于從服務(wù)器獲取數(shù)據(jù)疮方。例如控嗜,利用百度搜索‘騰飛五千年’
注意url的內(nèi)容:
https://www.baidu.com/s?wd=%E8%85%BE%E9%A3%9E%E4%BA%94%E5%8D%83%E5%B9%B4&f=12&rsp=0&oq=%E8%85%BE%E9%A3%9E%E5%8D%83%E5%B9%B4&ie=utf-8&usm=3&rsv_pq=dcc020d8001adada&rsv_t=1b44d110How0IFXusrX%2B5wwnXs4rvXZFFJsckD%2BRDxm04HOYoDdv%2BSPGVgo&rqlang=cn```
在s?wd=后面是一串字符,這就是urllib編碼后的結(jié)果骡显。
我們可以嘗試用默認(rèn)的Get方式發(fā)送請求疆栏。
代碼2:
coding=utf-8
import urllib
import urllib2
urllib是負(fù)責(zé)url的編碼處理
word = {'wd' : '騰飛千年'}
url = 'http://www.baidu.com'
用urlencode方法把內(nèi)容轉(zhuǎn)換為url編碼格式(字符串)
word = urllib.urlencode(word)
newurl = url + '/s?' + word
headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36"}
https://www.baidu.com/s?wd=python
request = urllib2.Request(newurl, headers = headers)
response = urllib2.urlopen(request)
html = response.read()
filename = 'name.txt'
with open(filename, 'w') as f:
f.write(html)
print html