作業(yè)思路
這次只爬取了一個經(jīng)濟學(xué)這個標(biāo)簽下的所有書
思路和之前的差不多，不過有一點區(qū)別的就是分頁的url以及豆瓣的反爬策略
分頁URL
https://book.douban.com/tag/%E7%BB%8F%E6%B5%8E%E5%AD%A6?start=20&type=T
這個20代表第二頁，也代表這一頁有多少本書稠茂，那么有多少頁呢轧铁？
在上面所列的最后一頁
所以错览，就手動的根據(jù)二分法的思維找了一下棚贾，發(fā)現(xiàn)一共有49頁
豆瓣反爬策略
本次爬取中，一共試用了之前所列的三種策略
不作任何反反爬
沒有做任何的偽裝啦吧，用scrapy框架，一會就被禁止了
隨機UA和下載延遲
這個策略順利地爬下了所有的數(shù)據(jù)拙寡，這次爬取設(shè)置的延遲是3秒授滓，關(guān)于設(shè)置幾秒最佳，這個還沒有測試
代理IP
不知道是因為所選用的代理IP太差了還是豆瓣已經(jīng)檢測出是代理IP的原因，始終會出現(xiàn)計算機積極拒絕般堆，所以這個方式還是不太可行在孝。
作業(yè)結(jié)果
作業(yè)結(jié)果
作業(yè)代碼
這次所選用的依舊是scrapy框架并保存在mysql中，因為想要爬取一下這本書的標(biāo)簽淮摔，所以是兩層深度私沮。
作業(yè)代碼和之前的差不多，就不上了哈
