urllib庫
python內(nèi)置的HTTP請求庫
四個模塊:request,parse,error,rebotparser
一逗物。request模塊
請求對象組成：url逐纬，參數(shù)，請求頭雁刷，請求體四部分德崭。
response = urllib.request.urlopen(url,data=None,timeout,..)
response = urllib.request.urlopen(Request對象）
Request對象
urllib.request.Request(url,data,headers,method)
data是作為請求體進行傳遞的
data = bytes(utllib.parse.urlencode(map),'utf-8')
headers的一些屬性：
User-Agent : 有些服務器或 Proxy 會通過該值來判斷是否是瀏覽器發(fā)出的請求
Referer：有的服務器會識別headers中的referer是不是自己
Content-Type : 在使用 REST 接口時荔睹，服務器會檢查該值，用來確定 HTTP Body 中的內(nèi)容該怎樣解析项阴。
application/xml ： 在 XML RPC滑黔，如 RESTful/SOAP 調(diào)用時使用
application/json ： 在 JSON RPC 調(diào)用時使用
application/x-www-form-urlencoded ： 瀏覽器提交 Web 表單時使用在使用服務器提供的 RESTful 或 SOAP 服務時， Content-Type 設置錯誤會導致服務器拒絕服務
例如
headers={
'User-Agent':'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)',
'Referer':'http://www.zhihu.com/articles'
}
response對象
響應對象組成：狀態(tài)碼，響應頭略荡，響應主體
狀態(tài)碼庵佣，響應頭，響應主體
response.status
response.getheaders() ? ?/ ? response.getheaders("server")
response.read().decode('utf-8') ? ?# 如果不加decode撞芍，則返回的是bytes類型的流
二秧了。parse模塊（URL解析和URL引用）
1.URL解析：urlparse將url解析成各個組件和urlunparse將組件拼裝成url
urlparse
urllib.parse.urlparse(urlstring,scheme='',allow_fragments=True)
# scheme指定協(xié)議類型，如果url中已經(jīng)存在序无，則scheme不起作用
＃allow_fragments為false時验毡，fragment將為空，＃后的內(nèi)容將前移至path中帝嗡，如果path之后的參數(shù)全為空
＃URL組成
URL:scheme://netloc/path;parameters?query#fragment
urljoin
將前后兩個url進行拼接晶通，每個url分成６個部分倦蚪，后面那個參數(shù)會被分割后會填充前面那個參數(shù)中分割后不存在的那個部分黔衡，雙方都有的話檩电，將以前者為準
urljoin('http://www.cwi.nl/%7Eguido/Python.html','FAQ.html')
>>>'http://www.cwi.nl/%7Eguido/FAQ.html'
urlencode
將字典轉為query的形式
from urllib.parse import urlencode
params = {
? ? 'name' :'tim',
? ? 'age' :23
}
print(urlencode(params))
>>> name='tim'&age=23
urlunparse
將url的６個部分拼接成url
data = {'','',...}
三叁丧。error模塊
由request產(chǎn)生僚害。主要存在兩個類：URLError风纠，HTTPError（繼承URLError）
URLError屬性：reason
HTTPError屬性：code亚隙，reason宾抓，headers
四抑月。rebotparser模塊
用來解析robots.txt文件树叽，不常用。
五谦絮。高級用法
1. Opener
當你獲取一個URL你使用一個opener(一個urllib2.OpenerDirector的實例)题诵。在前面，我們都是使用的默認的opener层皱，也就是urlopen性锭。它是一個特殊的opener，可以理解成opener的一個特殊實例叫胖，傳入的參數(shù)僅僅是url草冈，data，timeout瓮增。
如果我們需要用到Cookie或者Proxy疲陕，只用這個opener是不能達到目的的，所以我們需要創(chuàng)建更一般的opener來實現(xiàn)對Cookie和Proxy的設置钉赁。
2. proxy代理
import urllib.request
proxy_handler = ProxyHandler({'http':'http://127.0.0.1:9999',...})
opener = build_opener(proxy_handler)
response = opener.open('http://..')
3. Cookielib
主要用來提供可存儲的cookie對象蹄殃。可以利用本模塊的CookieJar類的對象來捕獲cookie并在后續(xù)連接請求時重新發(fā)送你踩∽缪遥可以通過F12->Application->Cookies中查看
CookieJar —-派生—->FileCookieJar? —-派生—–>MozillaCookieJar和LWPCookieJar
import http.cookiejar
#聲明一個CookieJar對象實例來保存cookie
cookie = http.cookiejar,CookieJar()
#利用urllib庫request模塊的HTTPCookieProcessor對象來創(chuàng)建cookie處理器
handler=urllib.request.HTTPCookieProcessor(cookie)
#通過handler來構建opener
opener=urllib.request.build_opener(handler)
#此處的open方法同urllib2的urlopen方法讳苦，也可以傳入request
response=opener.open('http://www.baidu.com')
for item in cookie:
? ? print'Name = '+item.name
? ? print'Value = '+item.value
使用MozillaCookieJar和LWPCookieJar可以將cookie保存到文件中，使用save來存儲吩谦，使用load來加載鸳谜。
#設置保存cookie的文件，同級目錄下的cookie.txt
filename='cookie.txt'
#聲明一個MozillaCookieJar對象實例來保存cookie式廷，之后寫入文件
cookie=http.cookiejar.MozillaCookieJar(filename)
#利用urllib2庫的HTTPCookieProcessor對象來創(chuàng)建cookie處理器
handler=urllib2.request.HTTPCookieProcessor(cookie)
#通過handler來構建opener
opener=urllib.request.build_opener(handler)
#創(chuàng)建一個請求咐扭，原理同urllib2的urlopen
response=opener.open("http://www.baidu.com")
#保存cookie到文件
cookie.save(ignore_discard=True,ignore_expires=True)
使用load來加載cookie文件到cookie
cookie = http.cookiejar.MozillaCookieJar()
cookie.load(filename,ignore_discard=True,ignore_expires=True)
handler=urllib2.request.HTTPCookieProcessor(cookie)
#通過handler來構建opener
opener=urllib.request.build_opener(handler)
#創(chuàng)建一個請求，原理同urllib2的urlopen
response=opener.open("http://www.baidu.com")
