項目說明
使用Python寫網(wǎng)絡(luò)爬蟲之爬取百思不得姐視頻并保存至文件示例
使用工具
Python2.7.X、pycharm
使用方法
在pycharm中創(chuàng)建一個爬取百思不得姐視頻.py文件,并在當前目錄下創(chuàng)建video文件夾來存放抓取的視頻文件,撰寫代碼胀茵,運行代碼锁荔,查看運行結(jié)果
操作原理
1.首先先了解正則表達式的使用方法祭椰,見:正則表達式
2.找到百思不得姐的視頻主頁URL:http://www.budejie.com/video/
通過火狐瀏覽器的fire bug工具分析泥张,可以看出來莹痢,鏈接中class=j-r-list-c里就存在有對應(yīng)的視頻名稱和視頻鏈接种蘸;
然后,右擊查看頁面源碼:
頁面源碼
下圖為視頻鏈接地址
視頻鏈接地址
程序代碼:
程序代碼
運行結(jié)果:
運行結(jié)果
可以看到竞膳,運行程序后在video文件夾中已經(jīng)存放有爬取的視頻名稱和鏈接航瞭。