昨天小編寫了個抓取電影下載鏈接的小爬蟲《新手也能做爬蟲风宁!一起來爬電影信息吧》孝扛,然后有網(wǎng)友推薦小編爬取某動態(tài)加載的電影網(wǎng)站太示,盡管能力有限,小編還是去嘗試了一下,分享給大家氓扛。
URL放上:gaoqing.fm待错,有興趣的小伙伴也可以嘗試下哦忆家!
因為是動態(tài)加載的,所以url基本就沒啥用了呜舒,我們直接使用瀏覽器的開發(fā)者工具查找真實網(wǎng)址(這個工作個人認為是整個過程中最難受的!)篓足,還好段誊,這次很快就找到了
提取出來
http://gaoqing.fm/ajax.php?type=&country=&director=&actor=&year=&p=3&sort=
繼續(xù)往后加載查找url埃儿,進行對比童番,查找規(guī)律
查找加載數(shù)據(jù)的時候幼东,建議先清空简逮,然后點擊加載更多,這樣新加載的就會出現(xiàn)秒旋,查找起來也方便一些哦细卧!
再次找到url
點擊鏈接加入群【python┮】:https://jq.qq.com/?_wv=1027&k=5qk3grn
http://gaoqing.fm/ajax.php?type=&country=&director=&actor=&year=&p=4&sort=
對比發(fā)現(xiàn),&p=4&這里是控制頁面加載頁數(shù)的關(guān)鍵筒占,然后就是寫代碼贪庙,導出,存盤的過程了翰苫,不啰嗦止邮,直接上代碼和結(jié)果,中間保存文件名的時候借鑒了網(wǎng)友的一段代碼奏窑,大家感受一下导披!
各種清晰度的種子都已經(jīng)到碗里了↖(▔▽▔)↗,慢慢觀看吧良哲!
喜歡就關(guān)注一波唄ㄟ(▔▽▔ㄟ) (╯▔▽▔)╯盛卡。