如果本文幫助到你嗤详，本人不勝榮幸，如果浪費(fèi)了你的時(shí)間瓷炮，本人深感抱歉葱色。
希望用最簡單的大白話來幫助那些像我一樣的人。如果有什么錯(cuò)誤娘香，請一定指出苍狰，以免誤導(dǎo)大家办龄、也誤導(dǎo)我。
本文來自：http://www.reibang.com/u/320f9e8f7fc9
感謝您的關(guān)注淋昭。
最近有個(gè)需求：下載某個(gè)網(wǎng)站的圖片俐填。
所以簡單研究了一下爬蟲。
在此整理一下結(jié)果翔忽，一為自己記錄英融，二給后人一些方向。
整體研究周期 2-3 天歇式，看完之后驶悟，在加上看的時(shí)候或多或少也會自己搜到一些其他知識。
順著看下來材失，應(yīng)該會對爬蟲技術(shù)有一個(gè)初步的認(rèn)識痕鳍。
利用 Python 的 Scrapy 框架。
1. 首先龙巨，安裝爬蟲需要的環(huán)境
Python爬蟲系列之----Scrapy下載安裝
http://blog.csdn.net/u011781521/article/details/70177291
這里面非常詳細(xì)的介紹了每一步的下載额获，按照步驟下載安裝，完全沒有問題恭应。
2. 一個(gè)非常簡單的下載圖片的例子
結(jié)合 Scarpy 框架的中文官網(wǎng)
來看這個(gè)例子：下載圖片
http://www.reibang.com/p/b5ae15cb131d
這個(gè)項(xiàng)目跑通之后，也就大概能了解 Scarpy 框架耘眨。
但是這個(gè)項(xiàng)目還不夠完善昼榛，因?yàn)樗廊〉膱D片全部都在一個(gè)文件夾下，并且圖片的名字也被修改了剔难。
3. 多頁爬取胆屿，并且分目錄保存到本地
首先看這篇文章，講解了如何多級爬取偶宫。
https://my.oschina.net/lpe234/blog/342741
不太明白的話非迹，可以多看幾遍。如果纯趋，還是實(shí)在不明白憎兽，也沒關(guān)系，直接看接下來的例子吵冒，可能更直觀纯命。
例子一：
scrapy中使用ImagePipeline自定義圖片文件名
http://mazih.com/post/cibuwb7bu0000rfa2m169vzv9/
這個(gè)例子介紹了在往本地下載的時(shí)候，如何多級存儲痹栖。
例子二：
爬取妹子圖
http://codingpy.com/article/scrapy-01-meizitu/
跟上面差不多亿汞，但也能加深理解，加強(qiáng)印象揪阿。
4. 反爬蟲
Scrapy爬取美女圖片第四集 突破反爬蟲(上)
http://www.reibang.com/p/9159111bcd87
Python爬蟲系列之----Scrapy(七)使用IP代理池
http://blog.csdn.net/u011781521/article/details/70194744?locationNum=4&fps=1
scrapy下載圖片遇到反盜鏈的設(shè)置疗我，解決方法兩種
https://zhuanlan.zhihu.com/p/26251969
最后再分享一個(gè)系列咆畏，非常棒够傍。解決了不少問題胆敞。
http://blog.csdn.net/u011781521/article/category/6560282
以上就是學(xué)習(xí)的時(shí)候栗菜，看到的一些資料残炮。
然后貼出一篇我自己寫的丘喻，爬取的時(shí)候分了三級目錄解恰，并且鲫剿，最后一級還有 下一頁掐暮。
import scrapy
from znns.items import ZnnsItem
class NvshenSpider(scrapy.Spider):
name = 'znns'
allowed_domains = ['']
start_urls = ['https://www.nvshens.com/rank/sum/']
headers = {
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
'Accept-Language': 'zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3',
}
# 排行榜循環(huán)
def parse(self, response):
exp = u'//div[@class="pagesYY"]//a[text()="下一頁"]/@href' # 下一頁的地址
_next = response.xpath(exp).extract_first()
yield scrapy.Request(response.urljoin(_next), callback=self.parse, dont_filter=True)
for p in response.xpath('//li[@class="rankli"]//div[@class="rankli_imgdiv"]//a/@href').extract(): # 某一個(gè)妹子簡介詳情頁
item_page = "https://www.nvshens.com/" + p + "album/" # 拼接 全部相冊頁面
yield scrapy.Request(item_page, callback=self.parse_item, dont_filter=True)
# 單個(gè)介紹詳情頁
def parse_item(self, response):
item = ZnnsItem()
# 某個(gè)人的名字枕面，也就是一級文件夾
item['name'] = response.xpath('//div[@id="post"]//div[@id="map"]//div[@class="browse"]/a[2]/@title').extract()[
0].strip()
exp = '//li[@class="igalleryli"]//div[@class="igalleryli_div"]//a/@href'
for p in response.xpath(exp).extract(): # 遍歷妹子全部相冊
item_page = "https://www.nvshens.com/" + p # 拼接圖片的詳情頁
yield scrapy.Request(item_page, meta={'item': item}, callback=self.parse_item_details, dont_filter=True)
# 圖片主頁愿卒，開始抓取
def parse_item_details(self, response):
item = response.meta['item']
item['image_urls'] = response.xpath('//ul[@id="hgallery"]//img/@src').extract() # 圖片鏈接
item['albumname'] = response.xpath('//h1[@id="htilte"]/text()').extract()[0].strip() # 二級文件夾
yield item
new_url = response.xpath('//div[@id="pages"]//a[text()="下一頁"]/@href').extract_first() # 翻頁
new_url = "https://www.nvshens.com/" + new_url
if new_url:
yield scrapy.Request(new_url, meta={'item': item}, callback=self.parse_item_details, dont_filter=True)
爬取結(jié)果如圖：
最后放上我寫的項(xiàng)目地址：
https://github.com/Wing-Li/znns
歡迎 Star，歡迎關(guān)注潮秘。
<br />
收集：
收集各種爬蟲 （默認(rèn)爬蟲語言為 python）
用 PHP 爬蟲做旅游數(shù)據(jù)分析
