常見網(wǎng)頁(yè)抓取工具
火車頭采集器：
老牌專業(yè)數(shù)據(jù)采集工具
效率高、功能全赂韵、接口齊全，可擴(kuò)展
主要缺點(diǎn)：
1.只能抓取靜態(tài)網(wǎng)頁(yè)
現(xiàn)在越來(lái)越多的主流沾點(diǎn)和核心數(shù)據(jù)展示都是使用動(dòng)態(tài)頁(yè)面
2.無(wú)法實(shí)現(xiàn)國(guó)語(yǔ)復(fù)雜的流程和邏輯
次要缺點(diǎn)：采集規(guī)則的編寫對(duì)不懂代碼的用戶來(lái)說(shuō)有難度
八爪魚
全鼠標(biāo)拖放挠蛉，圖文操作界面
操作簡(jiǎn)介祭示，易于理解，入門成本低
可以使用云采集方式運(yùn)行谴古，不需要本機(jī)開機(jī)
主要缺點(diǎn)：對(duì)用戶進(jìn)一步成長(zhǎng)不利
1.對(duì)用戶學(xué)習(xí)網(wǎng)絡(luò)爬蟲抓取相關(guān)知識(shí)幫助有限
2.復(fù)雜功能嚴(yán)重依賴軟件開發(fā)商提供
次要缺點(diǎn)：所有操作都需要消耗積分质涛，大量采集數(shù)據(jù)實(shí)際不免費(fèi)
還有：殺毒軟件總是報(bào)告他有木馬？掰担！
火車瀏覽器
- 集合了八爪魚和火車頭采集器的優(yōu)點(diǎn)
像八爪魚一樣易學(xué)易用
比火車頭采集器功能更加強(qiáng)大
可以抓取動(dòng)態(tài)網(wǎng)頁(yè) - 只要看得到的頁(yè)面內(nèi)容蹂窖，全都可以采集下來(lái)！
- 100%模擬真人對(duì)瀏覽器的操作動(dòng)作恩敌，可以達(dá)成任何操作目的
- 可實(shí)現(xiàn)任意復(fù)雜的操作邏輯
- 可編譯成EXE文件脫離平臺(tái)直接發(fā)布并運(yùn)行
- 保持易用特征的同時(shí)，對(duì)學(xué)習(xí)相應(yīng)的編程知識(shí)有非常有幫助
缺點(diǎn)：
抓取速度比火車頭采集器明顯要慢
免費(fèi)版一個(gè)項(xiàng)目只能抓取30分鐘横媚，超時(shí)后抓取程序會(huì)停止纠炮，必須手動(dòng)重新啟動(dòng)
收費(fèi)版價(jià)格明顯要比火車頭采集器貴
案例：
- 大眾點(diǎn)評(píng)數(shù)據(jù)抓取
- 淘寶數(shù)據(jù)抓取
- 微信公眾號(hào)文章檢測(cè)與抓取
微信是防抓取功能最為完善的社交網(wǎng)絡(luò)軟件之一
必須互相關(guān)注才能看到個(gè)人發(fā)送的信息
必須個(gè)人明確授權(quán)才能獲取個(gè)人信息
用模擬器登錄會(huì)直接封賬號(hào)
沒(méi)有網(wǎng)頁(yè)版本可供抓取
通訊內(nèi)容有一定程度的加密（呵呵）
