首先要感謝小白進階之Scrapy第二篇（登錄篇）
筆者是爬取了www.haoduofuli.wang，可惜掛掉了。所以我轉(zhuǎn)移了目標~~~
目標站點：www.cuiqingcai.com
代碼已經(jīng)上存到github下載
導入庫
假設你會使用scrapy創(chuàng)建項目呀洲，我們直接開始审胸，再spider文件夾下面新建一個blog.py的文件
# CrawlSpider與Rule配合使用可以起到歷遍全站的作用、Request干啥的我就不解釋了
from scrapy.spiders import CrawlSpider, Rule, Request
# 配合Rule進行URL規(guī)則匹配
from scrapy.linkextractors import LinkExtractor
簡單例子
詳細可以參考Scrapy中文文檔Crawlspider的例子
# CrawlSpider與Rule配合使用可以起到歷遍全站的作用利凑、Request干啥的我就不解釋了
from scrapy.spiders import CrawlSpider, Rule, Request
# 配合Rule進行URL規(guī)則匹配
from scrapy.linkextractors import LinkExtractor
class myspider(CrawlSpider):
name = 'cqc'
allowed_domains = ['cuiqingcai.com']
count_all = 0
url_all = []
start_urls = ['http://cuiqingcai.com']
label_tags = ['爬蟲', 'scrapy', 'selenium', 'selenium']
rules = (
Rule(LinkExtractor(allow=('\d+\.html$',)), callback='parse_item', follow=True),
)
def parse_item(self, response):
print(response.url)
代碼要點：
- 繼承CrawlSpider
- Rule里面的allow用的是正則表達式浆劲，根據(jù)需要寫
你會很驚訝發(fā)現(xiàn)就這短短的十幾行代碼就可以爬整個網(wǎng)站的代碼抓下來了，
結(jié)果展示
爬蟲入門
Python爬蟲入門1之綜述
Python爬蟲入門2之爬蟲基礎了解
Python爬蟲入門3之Urllib庫的基本使用
Python爬蟲入門4之Urllib庫的高級用法
Python爬蟲入門5之URLError異常處理
Python爬蟲入門6之Cookie的使用
Python爬蟲入門7之正則表達式
爬蟲利器
Python爬蟲利器1之Requests庫的用法
Python爬蟲利器2之BeautifulSoup的用法
Python爬蟲利器3之Xpath語法與lxml庫的用法
Python爬蟲利器4之PhantomJS的用法
Python爬蟲利器5之Selenium的用法
Python爬蟲利器6之PyQuery的用法
爬蟲進階
Python爬蟲進階1之爬蟲框架概述
Python爬蟲進階2之PySpider框架安裝配置
Python爬蟲進階3之Scrapy框架安裝配置
Python爬蟲進階4之PySpider的用法
Python爬蟲進階5之多線程的用法
Python爬蟲進階6之多進程的用法
Python爬蟲進階7之設置ADSL撥號服務器代理
爬蟲實戰(zhàn)
Python爬蟲實戰(zhàn)1之爬取糗事百科段子
Python爬蟲實戰(zhàn)2之爬取百度貼吧帖子
Python爬蟲實戰(zhàn)3之實現(xiàn)山東大學無線網(wǎng)絡掉線自動重連
Python爬蟲實戰(zhàn)4之抓取淘寶MM照片
Python爬蟲實戰(zhàn)5之模擬登錄淘寶并獲取所有訂單
Python爬蟲實戰(zhàn)6之抓取愛問知識人問題并保存至數(shù)據(jù)庫
Python爬蟲實戰(zhàn)7之計算大學本學期績點
Python爬蟲實戰(zhàn)8之利用Selenium抓取淘寶匿名旺旺
視頻教程
Python爬蟲學習系列教程
Python3爬蟲視頻學習教程
小白系列
小白學爬蟲系列教程
小白進階之Scrapy第1篇
小白進階之Scrapy第2篇（登錄篇）
Scrapy分布式的前篇–讓redis和MongoDB安全點
小白進階之Scrapy第3篇（基于Scrapy-Redis的分布式以及cookies池）
小白進階之Scrapy第4篇（圖片下載管道篇）
小白爬蟲第1彈之健壯的小爬蟲
小白爬蟲第2彈之抓取妹子圖
小白爬蟲第3彈之去重去重
小白爬蟲第4彈之爬蟲快跑（多進程+多線程）
雜記系列
Scrapy小技巧-MySQL存儲
利用Scrapy爬取知乎用戶詳細信息并存至MongoDB
免登錄新浪微博爬蟲系列之第一篇單博主微博及評論數(shù)據(jù)
