各位在爬蟲的時候,有時需要遍歷所有的頁碼俯逾,但有的網(wǎng)站最后一頁頁碼是以...方式存在的贸桶,一次次點擊肯定不可能啦。所以桌肴,大家可以用下面這種辦法
京東某商品評價頁.jpg
如上圖所見皇筛,最后一頁是看不到的。這時我們按下F12(我用的是Chrome)坠七,打開Network水醋,在Disable cache上打勾
Chrome開發(fā)者工具.png
然后右鍵重新加載下旗笔,就能看到最后一頁頁碼是多少了。
最后一頁頁碼.png
剛才測試了下拄踪,發(fā)現(xiàn)只對1000以內(nèi)的評論數(shù)有效蝇恶。