先推薦一個瑰寶 便民查詢網 (侵刪)上面有很多常用的日嘲欤基礎數據邢隧,可以方便獲取一些無法在其他網站正常爬取的數據
在如下兩個爬蟲中店印,主要使用了request,bs4倒慧, lxml框架
request: 模擬發(fā)送請求
bs4.BeautifulSoup解析并組裝html
lxml:方便對html中的元素進行分析
csv:提供對csv文件的編輯功能按摘,可動態(tài)生成csv文件
先推薦一個瑰寶 便民查詢網 (侵刪)上面有很多常用的日嘲欤基礎數據邢隧,可以方便獲取一些無法在其他網站正常爬取的數據
在如下兩個爬蟲中店印,主要使用了request,bs4倒慧, lxml框架
request: 模擬發(fā)送請求
bs4.BeautifulSoup解析并組裝html
lxml:方便對html中的元素進行分析
csv:提供對csv文件的編輯功能按摘,可動態(tài)生成csv文件