1.函數(shù)名及其來源
這是python內(nèi)置的一個(gè)網(wǎng)絡(luò)請(qǐng)求模塊泵殴，無需安裝即可使用
一般來說爬蟲更為常用的是requests庫秀又。
通常寫法如下：
import urllib
response = urllib.request.urlopen('https://www.python.org')
print(response.read())
這里簡(jiǎn)單解釋下我們請(qǐng)求一個(gè)網(wǎng)頁信息的過程。通常我們使用瀏覽器請(qǐng)求一個(gè)網(wǎng)址的信息贬芥，比如www.baidu.com
一：輸入網(wǎng)址
那肯定是輸入你要訪問的網(wǎng)站網(wǎng)址了吐辙，俗稱url，比如www.baidu.com
二：緩存解析
瀏覽器獲取了這個(gè)url蘸劈，當(dāng)然就去解析了昏苏，它先去緩存當(dāng)中看看有沒有，從 瀏覽器緩存-系統(tǒng)緩存-路由器緩存 當(dāng)中查看威沫，如果有從緩存當(dāng)中顯示頁面贤惯，然后沒有那就進(jìn)行步驟三；
三： 域名解析
在發(fā)送http之前棒掠，需要進(jìn)行DNS解析即域名解析救巷。
DNS解析:域名到IP地址的轉(zhuǎn)換過程。域名的解析工作由DNS服務(wù)器完成句柠。解析后可以獲取域名相應(yīng)的IP地址
四：tcp連接浦译，三次握手
在域名解析之后，瀏覽器向服務(wù)器發(fā)起了http請(qǐng)求溯职，tcp連接精盅，三次握手建立tcp連接。TCP協(xié)議是面向連接的谜酒，所以在傳輸數(shù)據(jù)前必須建立連接
五：服務(wù)器收到請(qǐng)求
服務(wù)器收到瀏覽器發(fā)送的請(qǐng)求信息叹俏，返回一個(gè)響應(yīng)頭response header和一個(gè)響應(yīng)體response body。
六：頁面渲染
瀏覽器收到服務(wù)器發(fā)送的響應(yīng)頭和響應(yīng)體僻族，進(jìn)行客戶端渲染粘驰，生成Dom樹、解析css樣式述么、js交互蝌数。
這里urllib就模擬了瀏覽器除了最后頁面渲染外其他步驟。
2.函數(shù)定義源碼及其用法拆解
urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)
參數(shù)說明：
url:訪問的地址度秘，一般不只是地址顶伞。
data:此參數(shù)為可選字段，特別要注意的是剑梳，如果選擇唆貌，請(qǐng)求變?yōu)閜ost傳遞方式,其中傳遞的參數(shù)需要轉(zhuǎn)為bytes，如果是我們只需要通過urllib.parse.urlencode轉(zhuǎn)換即可：
timeout:設(shè)置網(wǎng)站的訪問超時(shí)時(shí)間
其他參數(shù)：
context 參數(shù)：它必須是 ssl.SSLContext 類型垢乙，用來指定 SSL 設(shè)置锨咙。
cafile 和 capath 兩個(gè)參數(shù)：是指定CA證書和它的路徑，這個(gè)在請(qǐng)求 HTTPS 鏈接時(shí)會(huì)有用追逮。
cadefault 參數(shù)：現(xiàn)在已經(jīng)棄用了酪刀，默認(rèn)為 False
Python3中將python2.7的urllib和urllib2兩個(gè)包合并成了一個(gè)urllib庫粱侣，其主要包括一下模塊：
urllib.request 請(qǐng)求模塊
urllib.error 異常處理模塊
urllib.parse url解析模塊
urllib.robotparser robots.txt解析模塊
urlopen返回對(duì)象提供方法：
read() , readline() ,readlines() , fileno() , close() ：對(duì)HTTPResponse類型數(shù)據(jù)進(jìn)行操作。
info()：返回HTTPMessage對(duì)象蓖宦，表示遠(yuǎn)程服務(wù)器返回的頭信息。
getcode()：返回Http狀態(tài)碼油猫。
geturl()：返回請(qǐng)求的url
爬蟲內(nèi)容較多稠茂，此處僅舉例請(qǐng)求Python官方網(wǎng)站http://python.org/
import urllib.request
response = urllib.request.urlopen('http://python.org/')
print("查看response的返回類型",type(response))
print("查看響應(yīng)的信息",response)
print("查看頭部信息1",response.info())
print("查看頭部信息2",response.getheaders())
print("查看頭部的server屬性信息",response.getheader("Server"))
print("查看響應(yīng)的狀態(tài)信息",response.status)
print("查看響應(yīng)狀態(tài)碼",response.getcode())
print("查看響應(yīng)的url地址",response.geturl())
page = response.read()
print("輸出網(wǎng)頁源碼：",page.decode('utf-8'))
3.版本差異
python2中使用urlib2請(qǐng)求
- urllib2.urlopen可以接受一個(gè)Request對(duì)象或者url，（在接受Request對(duì)象時(shí)候情妖，并以此可以來設(shè)置一個(gè)URL
的headers）睬关，urllib.urlopen只接收一個(gè)url - urllib 有urlencode,urllib2沒有
所以python2中兩者通常一起使用。
在Python3中包urllib2歸入了urllib中毡证，所以要導(dǎo)入urllib.request电爹，并且要把urllib2替換成urllib.request
4.學(xué)習(xí)建議
實(shí)際使用中更多用到更強(qiáng)大的requests庫，這個(gè)作為基礎(chǔ)學(xué)習(xí)即可料睛。
對(duì)基礎(chǔ)運(yùn)行環(huán)境有疑問的丐箩，推薦參考:python函數(shù)深入淺出 0.基礎(chǔ)篇
