為了做到更優(yōu)雅镰吵,這次拋棄了urllib庫(kù)的引用,使用requests和beautifulsoup搭配的方式進(jìn)行
首先構(gòu)建一個(gè)請(qǐng)求并且響應(yīng)它
然后呢到簡(jiǎn)書(shū)上找一篇文章試試手,看一下網(wǎng)頁(yè)源碼找到文章的div
以及找到文章內(nèi)容,仔細(xì)看看內(nèi)容還挺不錯(cuò)哈哈
可以發(fā)現(xiàn)所有的內(nèi)容都在p標(biāo)簽里面,那么接下來(lái)就簡(jiǎn)單多了只需要
f5運(yùn)行一下
最后使用codecs庫(kù)來(lái)進(jìn)行文件操作將文章保存到本地
沒(méi)錯(cuò)使用上requests和bs4之后爬取文章的工作是那么的輕松呢
效果圖