上一節(jié)我們講解如何抓取網(wǎng)頁和下載圖片,在下一節(jié)里面我們會(huì)講解如何抓取有限制抓取的網(wǎng)站
首先,我們依然用我們上一節(jié)課的方法去抓取一個(gè)大家都用來舉例的網(wǎng)站<blog.cndn.net>,本文主要分以下幾個(gè)部分:
1.抓取受限網(wǎng)頁
2.對(duì)代碼進(jìn)行一些優(yōu)化
1.抓取受限網(wǎng)頁
首先使用我們上一節(jié)學(xué)到的知識(shí)測試一下:
'''
@本程序用來抓取blog.csdn.net網(wǎng)頁
'''
import urllib
url = "http://blog.csdn.net/FansUnion"
html = urllib.urlopen(url)
#getcode()方法為返回Http狀態(tài)碼
print html.getcode()
html.close()
#輸出
403
此處我們的輸出為403,代表拒絕訪問;同理200表示請求成功完成;404表示網(wǎng)址未找到.
可見csdn已做了相關(guān)屏蔽,通過第一節(jié)的方法是無法獲取網(wǎng)頁,在這里我們需要啟動(dòng)一個(gè)新的庫:urllib2
但是我們也看到瀏覽器可以發(fā)那個(gè)文,是不是我們模擬瀏覽器操作,就可以獲取網(wǎng)頁信息.
老辦法,我們先來看看瀏覽器是如何提交請求給csdn服務(wù)器的.首先簡述一下方法:
打開網(wǎng)頁,右鍵點(diǎn)擊,選擇"inspect Element"(最下面這一項(xiàng))
點(diǎn)擊下面彈起來的框框的Network選項(xiàng)卡
刷新網(wǎng)頁,就可以看到Network選項(xiàng)卡抓取了很多信息
找到其中一個(gè)信息展開,就能看到請求包的Header
以下就是整理后的Header信息
Request Method:GET
Host:blog.csdn.net
Referer:http://blog.csdn.net/?ref=toolbar_logo
User-Agent:Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.104 Safari/537.36
然后根據(jù)提取的Header信息,利用urllib2的Request方法模擬瀏覽器向服務(wù)器提交請求,代碼如下:
# coding=utf-8
'''
@本程序用來抓取受限網(wǎng)頁(blog.csdn.net)
@User-Agent:客戶端瀏覽器版本
@Host:服務(wù)器地址
@Referer:跳轉(zhuǎn)地址
@GET:請求方法為GET
'''
import urllib2
url = "http://blog.csdn.net/FansUnion"
#定制自定義Header,模擬瀏覽器向服務(wù)器提交請求
req = urllib2.Request(url)
req.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36')
req.add_header('Host', 'blog.csdn.net')
req.add_header('Referer', 'http://blog.csdn.net')
req.add_header('GET', url)
#下載網(wǎng)頁html并打印
html = urllib2.urlopen(req)
content = html.read()
print content
html.close()
呵呵,你限制我,我就跳過你的限制.據(jù)說只要瀏覽器能夠訪問的,就能夠通過爬蟲抓取.
2.對(duì)代碼進(jìn)行一些優(yōu)化
簡化提交Header方法
發(fā)現(xiàn)每次寫那么多req.add_header對(duì)自己來說是一種折磨,有沒有什么方法可以只要復(fù)制過來就使用.答案是肯定的.
#input:
help(urllib2.Request)
#output(因篇幅關(guān)系,只取__init__方法)
__init__(self, url, data=None, headers={}, origin_req_host=None, unverifiable=False)
通過觀察,我們發(fā)現(xiàn)headers={},就是說可以以字典的方式提交header信息.那就動(dòng)手試試咯!!
#只取自定義Header部分代碼
csdn_headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36",
"Host": "blog.csdn.net",
'Referer': 'http://blog.csdn.net',
"GET": url
}
req = urllib2.Request(url,headers=csdn_headers)
發(fā)現(xiàn)是不是很簡單,在這里感謝斯巴達(dá)的無私賜教.
提供動(dòng)態(tài)頭部信息
如果按照上述方法進(jìn)行抓取,很多時(shí)候會(huì)因?yàn)樘峤恍畔⑦^于單一,被服務(wù)器認(rèn)為是機(jī)器爬蟲進(jìn)行拒絕.
那我們是不是有一些更為智能的方法提交一些動(dòng)態(tài)的數(shù)據(jù),答案肯定也是肯定的.而且很簡單,直接上代碼!
'''
@本程序是用來動(dòng)態(tài)提交Header信息
@random 動(dòng)態(tài)庫,詳情請參考<https://docs.python.org/2/library/random.html>
'''
# coding=utf-8
import urllib2
import random
url = 'http://www.lifevc.com/'
my_headers = [
'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727; .NET CLR 3.0.04506.30; .NET CLR 3.0.04506.648)',
'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727; InfoPath.1',
'Mozilla/4.0 (compatible; GoogleToolbar 5.0.2124.2070; Windows 6.0; MSIE 8.0.6001.18241)',
'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0)',
'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; Sleipnir/2.9.8)',
#因篇幅關(guān)系,此處省略N條
]
random_header = random.choice(headers)
# 可以通過print random_header查看提交的header信息
req = urllib2.Request(url)
req.add_header("User-Agent", random_header)
req.add_header('Host', 'blog.csdn.net')
req.add_header('Referer', 'http://blog.csdn.net')
req.add_header('GET', url)
content = urllib2.urlopen(req).read()
print content
其實(shí)很簡單,這樣我們就完成了對(duì)代碼的一些優(yōu)化.
這一節(jié)我們主要講了如圖抓取受限制網(wǎng)站,下一節(jié)將會(huì)介紹爬蟲神兵利器BeautifulSoup.
