pyspider是一個(gè)強(qiáng)大的爬蟲(chóng)框架瞳购，具體我就不多說(shuō)明了辈挂，在使用它之前首先需要安裝PhantomJS
安裝PhantomJS
PhantomJS 是一個(gè)基于 WebKit 的服務(wù)器端 JavaScript API。它全面支持web而不需瀏覽器支持遵倦，其快速梦抢、原生支持各種Web標(biāo)準(zhǔn)：DOM 處理、CSS 選擇器交洗、JSON骑科、Canvas 和 SVG。 PhantomJS 可以用于頁(yè)面自動(dòng)化构拳、網(wǎng)絡(luò)監(jiān)測(cè)咆爽、網(wǎng)頁(yè)截屏以及無(wú)界面測(cè)試等。
brew install phantomjs
安裝pyspider
pyspider需要在python2上運(yùn)行置森，使用系統(tǒng)的python可能會(huì)有無(wú)法安裝等錯(cuò)誤斗埂，
請(qǐng)參考python安裝
pip2 install pyspider
如果出現(xiàn)一大堆紅字的錯(cuò)誤
xcode-select --install
選擇安裝，等待安裝完成
再次執(zhí)行上面的pip命令
安裝過(guò)程較長(zhǎng)凫海，最后結(jié)果
Successfully installed Flask-Login-0.3.2 lxml-3.6.0 pycurl-7.43.0 pyquery-1.2.13 pyspider-0.3.7 requests-2.9.1 wsgidav-1.2.0
運(yùn)行pyspider
pyspider
恭喜呛凶，終于完成了安裝
打開(kāi)safari，輸入 0.0.0.0:5000即可進(jìn)入webui行贪，具體使用方式請(qǐng)見(jiàn)后面的文章
如果有紅字漾稀，failed import之類(lèi)的，可能是不小心把pyspider裝在了python3上
pip3 uninstall pyspider
pip2 install pyspider
重新打開(kāi)終端建瘫，再次運(yùn)行pyspider
