學(xué)習(xí)爬蟲(chóng)有一段日子呻拌，一直都是看博客學(xué)習(xí)總是一知半解。面試了一次爬蟲(chóng)工程師睦焕，才感覺(jué)自己的學(xué)習(xí)方法出了問(wèn)題藐握，找到一本書(shū)來(lái)系統(tǒng)學(xué)習(xí)靴拱，才有點(diǎn)通。
開(kāi)始京東手機(jī)類圖片的爬蟲(chóng)猾普。袜炕。。初家。偎窘。。溜在。陌知。。掖肋。仆葡。。志笼。
這里我們用到了re庫(kù)(正則表達(dá)式)和urllib.request庫(kù)沿盅，首先打開(kāi)京東-->找到手機(jī)類，對(duì)應(yīng)的網(wǎng)址即為我們要爬取的第一個(gè)網(wǎng)頁(yè),對(duì)應(yīng)界面如圖1所示:
r如果想爬取不止這一個(gè)頁(yè)面的圖片纫溃，則可以找到下一頁(yè)腰涧，單擊之后看一下網(wǎng)址發(fā)生了什么變化，https://list.jd.com/list.htmlcat=9987,653,655&page=2&sort=sort_rank_asc&trans=1&JL=6_0_0&ms=6#J_main皇耗，由此可以推知page字段是我們爬取網(wǎng)頁(yè)時(shí)需要的南窗，所以我們可以發(fā)現(xiàn)獲取第幾頁(yè)是通過(guò)URL網(wǎng)址識(shí)別的。這個(gè)可以驗(yàn)證郎楼，當(dāng)我們把page=6時(shí)万伤，即網(wǎng)址換為https://list.jd.com/list.html?cat=9987,653,655&page=6，此時(shí)展示的是第六頁(yè)的手機(jī)商品列表呜袁。此外敌买，我們想自動(dòng)獲取多個(gè)網(wǎng)頁(yè)可以使用for循環(huán)實(shí)現(xiàn)，每次循環(huán)后對(duì)應(yīng)網(wǎng)址中的page字段值加一阶界，自動(dòng)切換到下一頁(yè)虹钮。
觀察網(wǎng)頁(yè)，我們會(huì)發(fā)現(xiàn)爬取的圖片中存在干擾圖片膘融，如圖2所示:
所以芙粱，我們先用一次正則表達(dá)式把無(wú)關(guān)圖片去掉。單擊F12氧映，找到源代碼春畔。那么如何找到我們需要的圖片呢？如下圖3所示的小技巧，先單擊1律姨，然后在網(wǎng)頁(yè)中知道我們需要爬取的第一個(gè)圖片并指向它振峻，這時(shí)你會(huì)發(fā)現(xiàn)對(duì)應(yīng)的代碼部分會(huì)自動(dòng)變色。
可以多翻幾頁(yè)或者多找?guī)讉€(gè)圖片觀察會(huì)發(fā)現(xiàn)圖4择份，<div id="plist">這個(gè)代碼距離我們需要爬取的圖片距離最近并且在頁(yè)面中是唯一的扣孟，說(shuō)明我們可以把它作為有效信息的起始過(guò)濾位置。
那么結(jié)尾的位置荣赶，我們?nèi)ツ恼夷?可以按照?qǐng)D3的方法指到網(wǎng)頁(yè)末尾的翻頁(yè)處查看對(duì)應(yīng)源代碼中距離相對(duì)較近并在頁(yè)面中唯一的一小段代碼的位置如圖5所示凤价，可以把“<div class="page clearfix">”作為結(jié)束的標(biāo)識(shí)。則我們的第一個(gè)正則表達(dá)式可以構(gòu)造為:pat1='<div id="plist".*<div class="page clearfix">'
OK讯壶！在第一次過(guò)濾的基礎(chǔ)上再將圖片鏈接信息過(guò)濾出來(lái)料仗。此時(shí)我們可以觀察一下圖片鏈接的不同之處。比如以下兩張圖片的對(duì)應(yīng)源代碼:
會(huì)發(fā)現(xiàn)這兩張圖的基本格式是一樣的伏蚊，據(jù)此可以根據(jù)該規(guī)律構(gòu)造出提取圖片的正則表達(dá)式:
pat2='<img width="220" data-img="1" data-lazy-img="http://(.+?.jpg)">'
具體的編程思路如下:
1,自定義一個(gè)爬取圖片的函數(shù)立轧，負(fù)責(zé)爬取一個(gè)網(wǎng)頁(yè)中需要的圖片。
爬取過(guò)程為:使用build_opener()修改報(bào)頭的方法模擬瀏覽器訪問(wèn)網(wǎng)頁(yè)躏吊。定義一個(gè)變量存儲(chǔ)對(duì)應(yīng)的User-Agent信息氛改，定義的格式為("User-Agent",具體信息，)具體信息為:"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36"一般網(wǎng)頁(yè)的user-agent是一樣的比伏，故可以建立一個(gè)txt保存下來(lái)不用每次都查找一次胜卤。然后需要使用urllib.request.build_opener()創(chuàng)建自定義的opener對(duì)象并賦給變量opener，接下來(lái)設(shè)置opener對(duì)象的addheaders,即設(shè)置對(duì)應(yīng)的頭信息赁项，設(shè)置格式為:"對(duì)象名.addheaders=[頭信息]"葛躏，設(shè)置好信息后，我們可以使用opener對(duì)象的open()方法打開(kāi)對(duì)應(yīng)的網(wǎng)址了悠菜。此時(shí)舰攒，打開(kāi)操作是已經(jīng)具有頭信息的打開(kāi)操作行為，即模仿為瀏覽器去打開(kāi)悔醋，格式是"opener對(duì)象名.open(url地址)"摩窃。打開(kāi)對(duì)應(yīng)網(wǎng)址后，再使用read()方法讀取對(duì)應(yīng)數(shù)據(jù)芬骄，并賦給data變量猾愿。到此為止你已經(jīng)學(xué)會(huì)爬取整個(gè)網(wǎng)頁(yè)了，(當(dāng)然記得把網(wǎng)頁(yè)的格式轉(zhuǎn)化為字符串格式)
然后根據(jù)第一個(gè)正則表達(dá)式進(jìn)行第一次信息過(guò)濾账阻，在第一次過(guò)濾結(jié)果的基礎(chǔ)上進(jìn)行第二次正則表達(dá)式的過(guò)濾蒂秘，提取出的圖片鏈接存儲(chǔ)在一個(gè)列表中，隨后遍歷該列表并通過(guò)urllib.request.urlretrieve(imageurl,filename=imagename)存儲(chǔ)到本地(PS:imagename設(shè)為本地文件地址)淘太，
最后姻僧，為了避免程序中途崩潰观挎，可以建立異常處理，這樣即使某個(gè)圖片不能爬取也會(huì)執(zhí)行x+=1自動(dòng)跳到下一個(gè)圖片
2段化，通過(guò)for循環(huán)將該分類下的所有網(wǎng)頁(yè)都爬取一遍，鏈接構(gòu)造為:url="http://list.jd.com/list.html?cat=9987,653,655&page="+str(i),在for循環(huán)里面造成，每一次循環(huán)對(duì)應(yīng)的i自動(dòng)加1显熏，每次循環(huán)通過(guò)調(diào)用1中函數(shù)實(shí)現(xiàn)該頁(yè)圖片的爬取
完整代碼如下:(親測(cè)有效)
#...........@author :潘雪雯
#...........@time :2018.04.15.21:19
#...........@software:window7+pycharm+python3.6
#...........@abstract:爬取京東手機(jī)類圖片
import re
import urllib.request
#簡(jiǎn)歷一個(gè)爬取圖片的自定義函數(shù)，該函數(shù)負(fù)責(zé)爬取一個(gè)頁(yè)面下的我們最想爬取的圖片
def craw(url,page):
# req = urllib.request.Request(url)
headers=("User-Agent","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36")
#獲取對(duì)應(yīng)網(wǎng)頁(yè)的全部源代碼
opener = urllib.request.build_opener()
opener.addheaders=[headers]
html1 = opener.open(url).read()
html1 =str(html1)
#進(jìn)行第一次信息過(guò)濾
pat1='<div id="plist".*<div class="page clearfix">'
#findall()函數(shù)得到的是一個(gè)列表
result1 =re.compile(pat1,re.S).findall(html1)
print(result1)
result2=result1[0]
#第二次過(guò)濾提取該網(wǎng)頁(yè)所以目標(biāo)圖片的鏈接并存儲(chǔ)在一個(gè)列表中
pat2='<img width="220" height="220" data-img="1" data-lazy-img="http://(.+?\.jpg)">'
imagelist= re.compile(pat2).findall(result2)
x=1
for imageurlin imagelist:
imagename =r"E:/Program Files/編程/data/picture"+str(page)+str(x)+".jpg"
imageurl ="http://"+imageurl
print(imageurl)
try:#該函數(shù)可以直接將對(duì)應(yīng)信息寫(xiě)入本地文件
urllib.request.urlretrieve(imageurl,r"E:/Program Files/編程/data/picture"+str(page)+str(x)+".jpg")
except urllib.error.URLErroras e:
if hasattr(e,"code"):
x+=1
if hasattr(e,"reason"):
x+=1
x+=1
for iin range(1,167):
url ="https://list.jd.com/list.html?cat=9987,653,655&page="+str(i)
print(url)
craw(url,i)
爬取結(jié)果:
分析:關(guān)鍵是正則表達(dá)式的運(yùn)用和爬取思想的熟悉晒屎。
PS:以上代碼和思想來(lái)自《精通Python網(wǎng)絡(luò)爬蟲(chóng) 核心技術(shù)喘蟆、框架與項(xiàng)目實(shí)戰(zhàn) ,韋瑋》有需要的小伙伴可以私聊我，share with you鼓鲁！一起學(xué)習(xí)
