這篇是上一篇的進階版最爬，雖然也是下載圖片到本地牲距，但比上一篇復(fù)雜了許多，上一篇只是下載當前頁的圖片到本地逢净，這一篇是下載整站的詳情頁圖片到本地哥放，涉及了連續(xù)多頁爬取，根據(jù) item 創(chuàng)建文件夾保存每個詳情頁的圖片爹土，爬取的數(shù)據(jù)量大大提升了好幾十幾百倍甥雕。
準備工作
- 開發(fā)環(huán)境：Windows，Pycharm胀茵，Request社露，BeautifulSoup，urllib
- 需要一定的 Python 爬蟲琼娘、HTML 基礎(chǔ)
開始動身
本次要爬取的網(wǎng)站依然是 帥啊 網(wǎng)
我們需要把整站的詳情頁圖片下載到本地
- 制作爬蟲
- 由于獲取下來的 html 編碼格式不對峭弟，所以要指定編碼格式為 utf-8
- 獲取頁面中每個 item 的詳情頁鏈接
- 獲取詳情頁的所有圖片鏈接（單個或多個）
- 以 item 的標題為文件夾附鸽，將詳情頁的圖片下載到該文件夾中
- 抓取下一頁（重復(fù) 2、3瞒瘸、4 步驟）
from bs4 import BeautifulSoup
import requests
import os
import urllib.request
import time
headers = {
"Cookie": "gsScrollPos-1702684443=0; UM_distinctid=16685e0279d3e0-06f34603dfa898-36664c08-1fa400-16685e0279e133; bdshare_firstime=1539844405694; _d_id=6556c25e9ddd0e7e71096a1e343f6b; gsScrollPos-1702684407=; CNZZDATA1254092508=1744643453-1539842703-%7C1540364765",
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36",
}
path = "D://images/"
def get_links(url):
wb_data = requests.get(url, headers=headers) # headers 偽裝
wb_data.encoding = "utf-8"
soup = BeautifulSoup(wb_data.text, 'lxml')
if wb_data.status_code == 404:
return
if not os.path.exists(path): # 判斷該文件夾是否存在坷备，不存在則創(chuàng)建
os.mkdir(path)
links = soup.select(".item-img")
for link in links:
download_img(link.get('href'))
time.sleep(1)
# 下一頁
next_page = soup.select(".next")[0].get("href")
print("------ next page -------")
get_links(next_page)
print("------ download done -------")
def download_img(url):
wb_data = requests.get(url, headers=headers)
wb_data.encoding = "utf-8"
soup = BeautifulSoup(wb_data.text, 'lxml')
images = soup.select(".wr-single-content-list img")
catalog = soup.select("h1")[0].get_text() # 獲取詳情頁標題作為文件夾名稱
catalog = path + catalog + "/"
if not os.path.exists(catalog):
os.mkdir(catalog)
for index, image in enumerate(images): # enumerate 是 Python 的內(nèi)置函數(shù)，用它可以同時返回索引和值
print(index)
img = image.get("src")
urllib.request.urlretrieve(img, catalog + str(index) + ".jpg")
print("-------- downloading ---------")
if __name__ == "__main__":
get_links("http://www.shuaia.net/index.html")
-
開始爬取
