爬取網(wǎng)址:http://www.reibang.com/trending/weekly
爬取信息:文章名特纤、作者ID军俊、發(fā)布日期、指數(shù)叫潦、閱讀蝇完、評論、喜歡矗蕊、贊賞數(shù)量短蜕、收錄專題
爬取方式:在詳細頁面中進行解析。
存儲方式:打印出來
image.png
image.png
①瀏覽下拉網(wǎng)頁傻咖,發(fā)現(xiàn)網(wǎng)頁使用了Ajax技術進行分頁朋魔。經(jīng)過測試,可使用以下URL來獲取正確內容
http://www.reibang.com/trending/weekly?page=4卿操,修改數(shù)字4即可構造出URL警检。page范圍為1-10頁。
image.png
②本次爬蟲在詳細頁面中進行害淤,文章名扇雕、作者ID、發(fā)布日期窥摄、指數(shù)镶奉、閱讀、評論、喜歡哨苛、贊賞數(shù)量可簡單獲取鸽凶。
贊賞數(shù)量和收錄專題使用了Ajax異步加載,但是相關網(wǎng)址都已經(jīng)被鎖定建峭。
image.png
image.png
此處與書不同玻侥,先放著吧,繼續(xù)往下學習亿蒸。