手冊(cè)目的 專門記錄使用Scrapy爬蟲學(xué)習(xí)過程中的各種坑
IDE Anaconda，python 3.6
Scrapy創(chuàng)建環(huán)境失敗
- bug現(xiàn)象：
- cmd輸入scrapy startproject xxx，返回：DLL load failed：操作系統(tǒng)無法運(yùn)行 %1
- 解決方法：
- 刪除/修改window/system32/ 的 libeay32.dll和ssleay32.dll
- 具體參考 https://tennc.github.io/2016/09/30/anaconda-install-scrapy-tips/
Scrapy crawl提示未知命令
- bug現(xiàn)象：
- cmd輸入scrapy crawl xxx矿筝，返回unknown command：crawl
- 解決方案：
- 需要進(jìn)入項(xiàng)目的根目錄，crawl會(huì)去搜索scrapy.cfg
Scrapy hxs/xss提示未知命令
- bug現(xiàn)象：
- cmd shell模式下輸入response.hxs(xxxx)户秤，返回未知的hxs命令
- 解決方案：
- 新版本的Scrapy已經(jīng)取消了hxs/xss吐根，取而代之的是response.xpath
