urllib庫(kù)是Python中一個(gè)最基本的網(wǎng)絡(luò)請(qǐng)求庫(kù)一姿⊥显疲可以模擬瀏覽器的行為那伐，向指定的服務(wù)器發(fā)送一個(gè)請(qǐng)求踏施，并可以保存服務(wù)器返回的數(shù)據(jù)。

urlopen函數(shù)：

在Python3的urllib庫(kù)中罕邀，所有和網(wǎng)絡(luò)請(qǐng)求相關(guān)的方法畅形，都被集到urllib.request模塊下面了，以先來(lái)看下urlopen函數(shù)基本的使用：

fromurllibimportrequestresp = request.urlopen('http://www.vrg123.com')print(resp.read())

實(shí)際上诉探，使用瀏覽器訪(fǎng)問(wèn)百度日熬，右鍵查看源代碼。你會(huì)發(fā)現(xiàn)肾胯，跟我們剛才打印出來(lái)的數(shù)據(jù)是一模一樣的竖席。也就是說(shuō)耘纱，上面的三行代碼就已經(jīng)幫我們把百度的首頁(yè)的全部代碼爬下來(lái)了。一個(gè)基本的url請(qǐng)求對(duì)應(yīng)的python代碼真的非常簡(jiǎn)單毕荐。

Pycharm激活碼教程使用更多解釋請(qǐng)見(jiàn)：http://vrg123.com

以下對(duì)urlopen函數(shù)的進(jìn)行詳細(xì)講解：

url：請(qǐng)求的url束析。

data：請(qǐng)求的data，如果設(shè)置了這個(gè)值憎亚，那么將變成post請(qǐng)求员寇。

返回值：返回值是一個(gè)http.client.HTTPResponse對(duì)象，這個(gè)對(duì)象是一個(gè)類(lèi)文件句柄對(duì)象虽填。有read(size)丁恭、readline、readlines以及getcode等方法斋日。

urlretrieve函數(shù)：

這個(gè)函數(shù)可以方便的將網(wǎng)頁(yè)上的一個(gè)文件保存到本地牲览。以下代碼可以非常方便的將百度的首頁(yè)下載到本地：

fromurllibimportrequestrequest.urlretrieve('http://www.vrg123.com/','baidu.html')

urlencode函數(shù)：

用瀏覽器發(fā)送請(qǐng)求的時(shí)候，如果url中包含了中文或者其他特殊字符恶守，那么瀏覽器會(huì)自動(dòng)的給我們進(jìn)行編碼第献。而如果使用代碼發(fā)送請(qǐng)求，那么就必須手動(dòng)的進(jìn)行編碼兔港，這時(shí)候就應(yīng)該使用urlencode函數(shù)來(lái)實(shí)現(xiàn)庸毫。urlencode可以把字典數(shù)據(jù)轉(zhuǎn)換為URL編碼的數(shù)據(jù)。示例代碼如下：

fromurllibimportparsedata = {'name':'爬蟲(chóng)基礎(chǔ)','greet':'hello world','age':100}qs = parse.urlencode(data)print(qs)

parse_qs函數(shù)：

可以將經(jīng)過(guò)編碼后的url參數(shù)進(jìn)行解碼衫樊。示例代碼如下：

fromurllibimportparseqs ="name=%E7%88%AC%E8%99%AB%E5%9F%BA%E7%A1%80&greet=hello+world&age=100"print(parse.parse_qs(qs))

urlparse和urlsplit：

有時(shí)候拿到一個(gè)url飒赃，想要對(duì)這個(gè)url中的各個(gè)組成部分進(jìn)行分割，那么這時(shí)候就可以使用urlparse或者是urlsplit來(lái)進(jìn)行分割科侈。示例代碼如下：

fromurllibimportrequest,parseurl ='http://www.vrg123.com/s?username=zhiliao'result = parse.urlsplit(url)# result = parse.urlparse(url)print('scheme:',result.scheme)print('netloc:',result.netloc)print('path:',result.path)print('query:',result.query)

urlparse和urlsplit基本上是一模一樣的载佳。唯一不一樣的地方是，urlparse里面多了一個(gè)params屬性臀栈，而urlsplit沒(méi)有這個(gè)params屬性蔫慧。比如有一個(gè)url為：url = 'http://www.vrg123.com/s;hello?wd=python&username=abc#1'，

那么urlparse可以獲取到hello权薯，而urlsplit不可以獲取到姑躲。url中的params也用得比較少。

request.Request類(lèi)：

如果想要在請(qǐng)求的時(shí)候增加一些請(qǐng)求頭盟蚣，那么就必須使用request.Request類(lèi)來(lái)實(shí)現(xiàn)黍析。比如要增加一個(gè)User-Agent，示例代碼如下：

fromurllibimportrequestheaders = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36'}req = request.Request("http://www.vrg123.com/",headers=headers)resp = request.urlopen(req)print(resp.read())

內(nèi)涵段子爬蟲(chóng)實(shí)戰(zhàn)作業(yè)：

要求：能爬取一頁(yè)的數(shù)據(jù)就可以了屎开。

ProxyHandler處理器（代理設(shè)置）

很多網(wǎng)站會(huì)檢測(cè)某一段時(shí)間某個(gè)IP的訪(fǎng)問(wèn)次數(shù)(通過(guò)流量統(tǒng)計(jì)橄仍，系統(tǒng)日志等)，如果訪(fǎng)問(wèn)次數(shù)多的不像正常人，它會(huì)禁止這個(gè)IP的訪(fǎng)問(wèn)侮繁。

所以我們可以設(shè)置一些代理服務(wù)器，每隔一段時(shí)間換一個(gè)代理如孝，就算IP被禁止宪哩，依然可以換個(gè)IP繼續(xù)爬取。

urllib中通過(guò)ProxyHandler來(lái)設(shè)置使用代理服務(wù)器第晰，下面代碼說(shuō)明如何使用自定義opener來(lái)使用代理：

fromurllibimportrequest# 這個(gè)是沒(méi)有使用代理的# resp = request.urlopen('http://httpbin.org/get')# print(resp.read().decode("utf-8"))# 這個(gè)是使用了代理的handler = request.ProxyHandler({"http":"218.66.161.88:31769"})opener = request.build_opener(handler)req = request.Request("http://httpbin.org/ip")resp = opener.open(req)print(resp.read())

什么是cookie：

在網(wǎng)站中锁孟，http請(qǐng)求是無(wú)狀態(tài)的。也就是說(shuō)即使第一次和服務(wù)器連接后并且登錄成功后茁瘦，第二次請(qǐng)求服務(wù)器依然不能知道當(dāng)前請(qǐng)求是哪個(gè)用戶(hù)品抽。cookie的出現(xiàn)就是為了解決這個(gè)問(wèn)題，第一次登錄后服務(wù)器返回一些數(shù)據(jù)（cookie）給瀏覽器甜熔，然后瀏覽器保存在本地圆恤，當(dāng)該用戶(hù)發(fā)送第二次請(qǐng)求的時(shí)候，就會(huì)自動(dòng)的把上次請(qǐng)求存儲(chǔ)的cookie數(shù)據(jù)自動(dòng)的攜帶給服務(wù)器腔稀，服務(wù)器通過(guò)瀏覽器攜帶的數(shù)據(jù)就能判斷當(dāng)前用戶(hù)是哪個(gè)了盆昙。cookie存儲(chǔ)的數(shù)據(jù)量有限，不同的瀏覽器有不同的存儲(chǔ)大小焊虏，但一般不超過(guò)4KB淡喜。因此使用cookie只能存儲(chǔ)一些小量的數(shù)據(jù)。

cookie的格式：

Set-Cookie: NAME=VALUE诵闭；Expires/Max-age=DATE炼团；Path=PATH；Domain=DOMAIN_NAME疏尿；SECURE

參數(shù)意義：

NAME：cookie的名字瘟芝。

VALUE：cookie的值。

Expires：cookie的過(guò)期時(shí)間润歉。

Path：cookie作用的路徑模狭。

Domain：cookie作用的域名。

SECURE：是否只在https協(xié)議下起作用踩衩。

使用cookielib庫(kù)和HTTPCookieProcessor模擬登錄：

Cookie 是指網(wǎng)站服務(wù)器為了辨別用戶(hù)身份和進(jìn)行Session跟蹤嚼鹉，而儲(chǔ)存在用戶(hù)瀏覽器上的文本文件，Cookie可以保持登錄信息到用戶(hù)下次與服務(wù)器的會(huì)話(huà)驱富。

這里以人人網(wǎng)為例锚赤。人人網(wǎng)中，要訪(fǎng)問(wèn)某個(gè)人的主頁(yè)褐鸥，必須先登錄才能訪(fǎng)問(wèn)线脚，登錄說(shuō)白了就是要有cookie信息。那么如果我們想要用代碼的方式訪(fǎng)問(wèn)，就必須要有正確的cookie信息才能訪(fǎng)問(wèn)浑侥。解決方案有兩種姊舵，第一種是使用瀏覽器訪(fǎng)問(wèn)，然后將cookie信息復(fù)制下來(lái)寓落，放到headers中括丁。示例代碼如下：

fromurllibimportrequestheaders = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36','Cookie':'anonymid=jacdwz2x-8bjldx; depovince=GW; _r01_=1; _ga=GA1.2.1455063316.1511436360; _gid=GA1.2.862627163.1511436360; wp=1; JSESSIONID=abczwY8ecd4xz8RJcyP-v; jebecookies=d4497791-9d41-4269-9e2b-3858d4989785|||||; ick_login=884e75d4-f361-4cff-94bb-81fe6c42b220; _de=EA5778F44555C091303554EBBEB4676C696BF75400CE19CC; p=61a3c7d0d4b2d1e991095353f83fa2141; first_login_flag=1; ln_uact=970138074@qq.com; ln_hurl=http://hdn.xnimg.cn/photos/hdn121/20170428/1700/main_nhiB_aebd0000854a1986.jpg; t=3dd84a3117737e819dd2c32f1cdb91d01; societyguester=3dd84a3117737e819dd2c32f1cdb91d01; id=443362311; xnsid=169efdc0; loginfrom=syshome; ch_id=10016; jebe_key=9c062f5a-4335-4a91-bf7a-970f8b86a64e%7Ca022c303305d1b2ab6b5089643e4b5de%7C1511449232839%7C1; wp_fold=0'}url ='http://www.renren.com/880151247/profile'req = request.Request(url,headers=headers)resp = request.urlopen(req)withopen('renren.html','w')asfp:? ? fp.write(resp.read().decode('utf-8'))

但是每次在訪(fǎng)問(wèn)需要cookie的頁(yè)面都要從瀏覽器中復(fù)制cookie比較麻煩。在Python處理Cookie伶选，一般是通過(guò)http.cookiejar模塊和urllib模塊的HTTPCookieProcessor處理器類(lèi)一起使用史飞。http.cookiejar模塊主要作用是提供用于存儲(chǔ)cookie的對(duì)象。而HTTPCookieProcessor處理器主要作用是處理這些cookie對(duì)象仰税，并構(gòu)建handler對(duì)象构资。

http.cookiejar模塊：

該模塊主要的類(lèi)有CookieJar、FileCookieJar陨簇、MozillaCookieJar吐绵、LWPCookieJar。這四個(gè)類(lèi)的作用分別如下：

CookieJar：管理HTTP cookie值塞帐、存儲(chǔ)HTTP請(qǐng)求生成的cookie拦赠、向傳出的HTTP請(qǐng)求添加cookie的對(duì)象。整個(gè)cookie都存儲(chǔ)在內(nèi)存中葵姥，對(duì)CookieJar實(shí)例進(jìn)行垃圾回收后cookie也將丟失荷鼠。

FileCookieJar (filename,delayload=None,policy=None)：從CookieJar派生而來(lái)，用來(lái)創(chuàng)建FileCookieJar實(shí)例榔幸，檢索cookie信息并將cookie存儲(chǔ)到文件中允乐。filename是存儲(chǔ)cookie的文件名。delayload為T(mén)rue時(shí)支持延遲訪(fǎng)問(wèn)訪(fǎng)問(wèn)文件削咆，即只有在需要時(shí)才讀取文件或在文件中存儲(chǔ)數(shù)據(jù)牍疏。

MozillaCookieJar (filename,delayload=None,policy=None)：從FileCookieJar派生而來(lái)，創(chuàng)建與Mozilla瀏覽器 cookies.txt兼容的FileCookieJar實(shí)例拨齐。

LWPCookieJar (filename,delayload=None,policy=None)：從FileCookieJar派生而來(lái)鳞陨，創(chuàng)建與libwww-perl標(biāo)準(zhǔn)的 Set-Cookie3 文件格式兼容的FileCookieJar實(shí)例。

登錄人人網(wǎng)：

利用http.cookiejar和request.HTTPCookieProcessor登錄人人網(wǎng)瞻惋。相關(guān)示例代碼如下：

fromurllibimportrequest,parsefromhttp.cookiejarimportCookieJarheaders = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36'}defget_opener():cookiejar = CookieJar()? ? handler = request.HTTPCookieProcessor(cookiejar)? ? opener = request.build_opener(handler)returnopenerdeflogin_renren(opener):data = {"email":"970138074@qq.com","password":"pythonspider"}? ? data = parse.urlencode(data).encode('utf-8')? ? login_url ="http://www.renren.com/PLogin.do"req = request.Request(login_url, headers=headers, data=data)? ? opener.open(req)defvisit_profile(opener):url ='http://www.renren.com/880151247/profile'req = request.Request(url,headers=headers)? ? resp = opener.open(req)withopen('renren.html','w')asfp:? ? ? ? fp.write(resp.read().decode("utf-8"))if__name__ =='__main__':? ? opener = get_opener()? ? login_renren(opener)? ? visit_profile(opener)

保存cookie到本地：

保存cookie到本地厦滤，可以使用cookiejar的save方法，并且需要指定一個(gè)文件名：

fromurllibimportrequestfromhttp.cookiejarimportMozillaCookieJarcookiejar = MozillaCookieJar("cookie.txt")handler = request.HTTPCookieProcessor(cookiejar)opener = request.build_opener(handler)headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36'}req = request.Request('http://httpbin.org/cookies',headers=headers)resp = opener.open(req)print(resp.read())cookiejar.save(ignore_discard=True,ignore_expires=True)

從本地加載cookie：

從本地加載cookie歼狼，需要使用cookiejar的load方法掏导，并且也需要指定方法：

fromurllibimportrequestfromhttp.cookiejarimportMozillaCookieJarcookiejar = MozillaCookieJar("cookie.txt")cookiejar.load(ignore_expires=True,ignore_discard=True)handler = request.HTTPCookieProcessor(cookiejar)opener = request.build_opener(handler)headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36'}req = request.Request('http://httpbin.org/cookies',headers=headers)resp = opener.open(req)print(resp.read())