關(guān)于評論頁數(shù)的問題, comment_nums = date['CommentsCount'][0]['ShowCount']我覺得知識查找應(yīng)該是不對的,我仔細(xì)看了json文件發(fā)現(xiàn)獲取不到具體的頁數(shù)厢漩,除了用selenium翻頁的話电爹,或者手動獲取頁數(shù)擅羞,因為京東最多存儲100頁的評論混狠,不知道樓主有什么好的方法丽涩?
scrapy爬取京東筆記本及評論信息存入MySQL數(shù)據(jù)庫爬取思路 1.分析頁面桐腌,定義爬取字段2.觀察網(wǎng)頁拄显,分析接口url,通過xpath和json解析爬取內(nèi)容字段3.在pipelines.py寫入存儲方式4.開始爬取5.GitHu...