客戶端爬蟲平臺(tái)(dSpider)提供了Android/ios sdk, 同時(shí)支持顯式爬取和靜默爬取. dSpider是一個(gè)使用Javascrip語言的客戶端爬取平臺(tái)帖蔓,由sdk、Pc工具(即將發(fā)布)庐扫、以及云管理平臺(tái)三部分組成饭望。詳情:https://dspider.dtworkroom.com/document

客戶端需求的場(chǎng)景及簡(jiǎn)介
如果你還不知道客戶端爬取是什么,能干什么形庭,下面文章你需要先了解一下:
爬蟲技術(shù)( 一) 一篇文章了解爬蟲技術(shù)現(xiàn)狀
爬蟲技術(shù)(三)-客戶端爬取Android SDK發(fā)布
IOS集成文檔
官方幫助文檔:https://dspider.dtworkroom.com/document/ios
demo: https://github.com/wendux/DSpiderDemo-ios (歡迎star)
附:DSpider的9大特點(diǎn)
- 突破ip限制,IP限制對(duì)DSpider徹底無效
- 客戶端用戶授權(quán)時(shí)可手動(dòng)登錄萨醒,繞過驗(yàn)證碼問題斟珊,使用戶體驗(yàn)更友好。
- 可以抓取動(dòng)態(tài)生成的網(wǎng)頁(yè)验靡。
- 腳本使用javascript語言倍宾,對(duì)于前端程序員0門檻。
- 爬取腳本非常容易寫胜嗓,代碼量極少高职,你可以使用任何前端的js庫(kù),同時(shí)dSpider內(nèi)置jQuery,讓解析網(wǎng)頁(yè)非常容易辞州。
- 測(cè)試支持怔锌;支持本地調(diào)試,同時(shí)提供pc端測(cè)試工具变过。
- 強(qiáng)大的云管理平臺(tái)埃元;實(shí)時(shí)監(jiān)視應(yīng)用爬取狀態(tài)、動(dòng)態(tài)更新腳本媚狰、錯(cuò)誤分析岛杀、配置下發(fā)等眾多功能。
- 支持ios/android崭孤,支持靜默爬取类嗤。
- 腳本商店糊肠;完整的生態(tài)系統(tǒng)和用戶群,用戶可以發(fā)布腳本到腳本商店遗锣,其它用戶可以自由添加货裹。用戶無需自己寫代碼。
dspider官網(wǎng):https://dspider.dtworkroom.com/document/introduction