前陣子有位朋友咨詢了永恒君奸鬓,想抓取地圖上的一些信息,如下圖:
網(wǎng)址是:https://dealershop.vaillant.com.cn/index.html
這個(gè)網(wǎng)頁的地圖上標(biāo)注了很多的家電門店谱仪,這位朋友想抓取這些門店的信息玻熙,問web scraper是否可以實(shí)現(xiàn)?
據(jù)永恒君了解疯攒,web scraper是沒有辦法處理這類的問題的嗦随。
當(dāng)然就不是說沒有辦法來對(duì)付這個(gè)問題,可以試試我們的老盆友python啊敬尺。
通過查看網(wǎng)頁源代碼枚尼,可以看到數(shù)據(jù)并不在網(wǎng)頁源代碼當(dāng)中。
這個(gè)時(shí)候就要去想法子找到數(shù)據(jù)的真實(shí)請(qǐng)求地址了砂吞,方法就是在F12-network中進(jìn)行查找署恍,這里需要一些耐心和細(xì)心。
通過一番查找蜻直,鎖定了一個(gè)form1.ashx的文件盯质,能看到請(qǐng)求的結(jié)果就是我們需要的數(shù)據(jù),進(jìn)而查找到了請(qǐng)求的源地址概而。
可以看到呼巷,這是一個(gè)post請(qǐng)求。
具體的代碼就不貼了赎瑰,這里直接上演示效果:
提取的門店數(shù)據(jù)王悍,很詳盡。
當(dāng)然啦乡范,代碼可能不具有普遍適用性配名,主要是幫助理解解決問題的思路和方法啤咽。
如果你感興趣的話,可以聯(lián)系我獲取py文件渠脉。
歡迎交流宇整!