一、前言

網(wǎng)絡(luò)爬蟲(chóng)的一般步驟：

1.獲取網(wǎng)頁(yè)

2.提取網(wǎng)頁(yè)信息

3.保存網(wǎng)頁(yè)信息

要用到的Python庫(kù)：

requests庫(kù)
os庫(kù)
lxml中的etree(xpath)

二、要求

1.爬取目標(biāo)網(wǎng)站上 “動(dòng)漫” 類(lèi)別下所有的壁紙零院。

2.壁紙必須保存到腳本運(yùn)行目錄下的的 IMAGES文件夾內(nèi)。(文件夾由腳本自動(dòng)創(chuàng)建 沒(méi)有就創(chuàng)建 否則不創(chuàng)建)

3.保存的圖片必須以對(duì)應(yīng)標(biāo)題名和分辨率來(lái)命名赴魁，如：秋田君的小漫畫(huà) - 1920x1200.jpg吝镣。

4.圖片分辨率應(yīng)該是可選分辨率中最高的。

5.要有提示信息泉蝌，格式：正在下載 (下載數(shù)量)：(圖片名字)歇万。

6.要有錯(cuò)誤處理并給出相應(yīng)提示，如：圖片下載失敗勋陪、網(wǎng)絡(luò)超時(shí)的處理等贪磺。

三、正文

爬取目標(biāo)http://desk.zol.com.cn/dongman/

image.png

以上就是將要爬取的部分壁紙诅愚。

1.思路

image

第一步：分析網(wǎng)頁(yè)寒锚，寫(xiě)出xpath路徑

分析網(wǎng)頁(yè)是應(yīng)首先按F12進(jìn)入開(kāi)發(fā)者模式，選擇element選項(xiàng)卡违孝，使用元素選擇器刹前，如圖：

image

由于我們要爬取列表所有壁紙，所以我們要獲取<li class="photo-list-padding">標(biāo)簽下的所有<a>標(biāo)簽雌桑，因此腮郊，xpath路徑為：

#圖片列表地址

//li[@class="photo-list-padding"]//a/@href

image

還需要把’下一頁(yè)‘的xpath路徑提取出來(lái)，為：

#下一頁(yè)的地址
//a[@id="pageNext"]/@href

image

需要提取出圖片的名字筹燕，xpath路徑為：

#圖片名稱(chēng)
//a[@id="titleName"]/text()

image

這時(shí)候，由于既需要提取出分辨率衅鹿，以及其網(wǎng)頁(yè)撒踪，故而需要兩個(gè)xpath路徑：

#下載圖片的路徑
//dd[@id="tagfbl"]//a[1]/@href
#最大分辨率1920*1200
//dd[@id="tagfbl"]//a[1]/text()

第二步：設(shè)置請(qǐng)求頭防止訪問(wèn)受限

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.67 Safari/537.36',
}

第三步：利用requests庫(kù)和lxml獲取并解析網(wǎng)頁(yè)

def get_dom(url):
    r = requests.get(url)
    dom = etree.HTML(r.text)
    return dom

第四步：下載并保存獲取的圖片

def download_image(url):
    dom = get_dom(url)
    download_url = dom.xpath('//img[contains(@src, "jpg")]/@src')[0]
    r_2 = requests.get(download_url)
    return r_2.content
def save_image(image_name, content, filepath='IMAGES/'):
    with open(filepath+image_name, 'wb') as f:
        f.write(content)

第五步：錯(cuò)誤提示處理

下面給出完整代碼：

import requests
import os
from lxml import etree

headers = {'User-Agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36"}

def get_text(url):
    r = requests.get(url, headers=headers)
    r.encoding = r.apparent_encoding
    dom = etree.HTML(r.text)
    return dom


def get_imgage(url, name, px):
    r = requests.get(url, headers=headers)
    if (r.status_code != 200):
        print("圖片下載失敗")
        return
    r.encoding = r.apparent_encoding
    f = open(f'{name}-{px}.jpg', 'wb')
    f.write(r.content)


def create_file():
    path = os.getcwd() + "\image"
    if not os.path.exists(path):
        os.makedirs(path)
    os.chdir(path)


def get_name_href(dom):
    name = dom.xpath('//li[@class="photo-list-padding"]//em//text()')
    href = dom.xpath('//li[@class="photo-list-padding"]//@href')
    return name, href


def getImgHref_Px(href):
    dom = get_text(href)
    try:
        px = dom.xpath('//dd[@id="tagfbl"]//a//@id')[0]
        imgage_url = dom.xpath('//dd[@id="tagfbl"]//a[@target="_blank"]//@href')[0]
        dom_1 = get_text(host + imgage_url)
        imgage_href = dom_1.xpath('//img//@src')[0]
        return imgage_href, px
    except:
        imgage_href = dom.xpath('//div[@id="mouscroll"]//img//@src')[0]
        return imgage_href, "960x600"


host = "http://desk.zol.com.cn"
target = "http://desk.zol.com.cn/dongman/"
cnt = 0
create_file() 

for x in range(1, 42):
    dom = get_text("http://desk.zol.com.cn/dongman/" + str(x) + ".html")
    name, href = get_name_href(dom)
    for i in range(0, len(href)):
        cnt = cnt + 1
        print("正在下載" + str(cnt) + ":" + name[i])
        imgHref, px = getImgHref_Px(host + href[i])
        get_imgage(imgHref, name[i], px)

以下是運(yùn)行結(jié)果：

image.png

image.png