樓主不知道有沒有找到可以讓Splash保持渲染狀態(tài)的方法?樓主貼的這種方法是一個(gè)lua腳本執(zhí)行很多次低滩,最后返回所有的結(jié)果召夹。這樣爬取的顆粒比較大恕沫,如果中間出現(xiàn)異常,不好處理婶溯。
爬蟲之scrapy-splash——scrapy+js渲染容器簡介 scrapy作為爬蟲利器,我就不多說了爬虱。常見的結(jié)合js的爬蟲隶债,一般用來扒取網(wǎng)頁動(dòng)態(tài)內(nèi)容跑筝,就是通過操作js獲取渲染的內(nèi)容∷蓝铮現(xiàn)在大部分網(wǎng)站都是ajax+json獲取數(shù)據(jù)的方...