?BeautifulSoup和Lxml是兩個(gè)非常流行的python模塊,常被用來對(duì)抓取到的網(wǎng)頁進(jìn)行解析抹镊。
開始的時(shí)候安裝了beautifulsoup,但當(dāng)解析器設(shè)置為lxml就會(huì)報(bào)錯(cuò),語句如下
soup = BeautifulSoup(html.text,"lxml")
當(dāng)設(shè)置為“html.parser”則可以正常解析荤傲,折騰了大半天垮耳,查閱了網(wǎng)上csdn,stackoverflow的很多帖子,這里大體整理才操作步驟
1.安裝beautifulsoup
>pip install?beautifulsoup4
2.安裝解析器lxml
這一步要注意遂黍,一定要先查看Python的版本终佛,根據(jù)自己的Python版本以及系統(tǒng)來下載相應(yīng)的lxml包,強(qiáng)烈建議不要直接使用pip install lxml來安裝雾家,因?yàn)檫@時(shí)候安裝的是最新版本铃彰,但卻不一定與你的Python版本以及系統(tǒng)兼容。務(wù)必下載安裝包到指定目錄芯咧,再使用pip安裝牙捉。這里我的Python版本是3.6.4竹揍,系統(tǒng)是64位,下載的是以下這個(gè)包(其中36表示Python的版本3.6鹃共,64表示64位)
lxml-4.2.2-cp36-cp36m-win_amd64.whl
下載鏈接:https://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml
如果直接安裝lxml,會(huì)提示
error: Microsoft Visual C++ 14.0 is required.
解決辦法查帖子說是兩個(gè):1.安裝Microsoft Visual C++ 14.0(這個(gè)方法沒試過)
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?2.通過wheel安裝
所以這步的安裝過程如下:
>pip install wheel
>pip install?lxml-4.2.2-cp36-cp36m-win_amd64.whl
到這里鬼佣,就安裝成功了。再使用lxml解析器不會(huì)報(bào)錯(cuò)了
【小貼士:Python安裝其他包的時(shí)候霜浴,也有可能會(huì)報(bào)這個(gè)錯(cuò)“error: Microsoft Visual C++ 14.0 is required.”晶衷。萬用解決辦法就是根據(jù)Python版本及系統(tǒng)位數(shù)手動(dòng)下載安裝包到指定目錄,再使用pip安裝】
最后阴孟,安裝這兩個(gè)包如果使用了網(wǎng)上的各種辦法依然報(bào)錯(cuò)晌纫,那最后的辦法就是卸載Python3,通過anaconda安裝Python來解決了永丝。