爬取網(wǎng)頁數(shù)據(jù)簡單學(xué)習(xí)
一、安裝解析庫
#安裝requests網(wǎng)絡(luò)請求庫
pip install requests
#安裝bs4解析庫
pip install beautifulsoup4
#安裝html解析器
pip install lxml
#安裝xlutils3檬嘀、xlwt 2選1
pip install xlutils3
pip install xlwt
二倒彰、打開網(wǎng)頁疟游，獲取網(wǎng)頁內(nèi)容
#以get方式打開網(wǎng)頁呼畸，獲取html頁面內(nèi)容
htmlCon=requests.get(dataurl)
#按實際網(wǎng)頁設(shè)置編碼格式
htmlCon.encoding="UTF-8"
#bs4以lxml解析器網(wǎng)頁整體內(nèi)容
soup = BeautifulSoup(htmlCon.text, 'lxml')
三、按網(wǎng)頁實際標(biāo)簽進行解析
根據(jù)標(biāo)簽名查找
soup.a 只能查找得到第一個符合要求的節(jié)點,是一個對象颁虐，bs4自己封裝類的對象
獲取屬性
soup.a.attrs 獲取得到所有屬性和值蛮原，是一個字典
soup.a.attrs['href'] 獲取指定的屬性值
soup.a['href'] 簡寫形式
獲取文本
soup.a.string
soup.a.text
soup.a.get_text()
[注]如果標(biāo)簽里面還有標(biāo)簽，那么string獲取就是空另绩，而后兩個獲取的是純文本內(nèi)容
find_all方法
返回的是一個列表儒陨，列表里面都是節(jié)點對象
soup.find_all('a', limit=2) #提取符合要求的前兩個a
soup.find_all(['a', 'li']) #查找得到所有的a和li
soup.find_all('a', class_='xxx')#查找得到所有class是xxx的a
soup.find_all('li', class_=re.compile(r'^xiao'))#查找所有的class以xiao開頭的li標(biāo)簽
select方法
- id選擇器 #dudu
- 類選擇器 .xixi
- 標(biāo)簽選擇器 div a h1
eg :
div #dudu .xixi a
空格：代表后面的節(jié)點是前面節(jié)點的子節(jié)點或者子孫節(jié)點
div > #dudu > a > .xixi
四、保存工作表
#新建工作表
workbook=xlwt.Workbook()
#工作表新建一個sheet表格
sheet=workbook.add_sheet(sheet_name,cell_overwrite_ok=True)
style=xlwt.XFStyle()#初始化樣式
sheet.write(rol,col,data)#寫入指定數(shù)據(jù)
workbook.save("xxx.xlsx")#保存
五笋籽、實踐
按類型獲取一個中醫(yī)網(wǎng)頁里的所有頁數(shù)數(shù)據(jù)
import requests
import xlwt
from bs4 import BeautifulSoup
# https://m.cnkang.com/cm/zcy/jry/
url = 'https://m.cnkang.com/'
sort = 1 #網(wǎng)頁頁數(shù)
rol=0 #默認行
types = [] # 網(wǎng)頁分類型# {"sheet. name": "解表藥", "urlPath" :"cm/zcy/jby"}
urlPath = "cm/zcy/jby/"
workbook = xlwt.Workbook() #新建一個工作薄
sheet=None
#獲取網(wǎng)頁不同type種類
def getHtmlType():
typeCon = soup. select(' #mainNav > li')
print (typeCon)
for type in typeCon:
title = type.find('a').get_text()
path = type.find("a").get('href')
typedata={}
typedata["title"] = str(title)
typedata["urlPath"] = str(path)
# print (typedata)
types.append(typedata)
print(types)
return types
#獲取頁數(shù)
def getHtmlSort():
sortCon = soup. select(' #touch_page > option')
sort = len(sortCon)
return sort
#獲取網(wǎng)頁列表數(shù)據(jù)加鍵接
def getHtml():
#循環(huán)按頁數(shù)構(gòu)造url
for num in range(sort):
dataurl= url+urlPath+ "List_"+str(num +1)+ '.html'
print (dataurl)
#以get方式打開網(wǎng)頁蹦漠，獲取html頁面內(nèi)容
htmlCon=requests.get(dataurl)
#按實際網(wǎng)頁設(shè)置編碼格式
htmlCon.encoding="UTF-8"
#bs4以lxml解析器網(wǎng)頁整體內(nèi)容
soup = BeautifulSoup(htmlCon.text, 'lxml')
li_list =soup.select('body > div:nth-child(6) > div >a ')
#循環(huán)進入下一層子集
data = {}
dataKey = ["title","content","contentUrl", "imgUrl", "sourceUrl"]
for li in li_list:
title =li.find ("dt").get_text()
content = li.find ("dd").get_text()
contentUrl = li.get("href")
imgUrl = li.find("img").get( "src")
#print(contentUrl)
data["title"]=str(title)
data["content"]=str(content).strip()
data["contentUrl"]=str(url+contentUrl)
data["imgUrl"]=str(imgUrl)
data["sourceUrl"]=str(dataurl)
setDataBeau(data,dataKey)
def setDataBeau(data,dataKey):
global rol
rol=rol+1
for num in range(len(data)):
sheet.write(rol,num,data.get(dataKey[num]))
if __name__ == '__main__':
dataurl= url+urlPath
htmlCon=requests.get(dataurl)
#按實際網(wǎng)頁設(shè)置編碼格式
htmlCon.encoding="UTF-8"
#bs4以lxml解析器網(wǎng)頁整體內(nèi)容
soup = BeautifulSoup(htmlCon.text, 'lxml')
types=getHtmlType()
for index in range(len(types)):
type= types[ index]
urlPath = type.get("urlPath")
sheet_name = type.get("title")
if sheet_name =="展開":
break;
sheet=workbook.add_sheet(sheet_name,cell_overwrite_ok=True)
style=xlwt.XFStyle()#初始化樣式
heads =['名稱','簡介','詳情','封面','來源']
for head in range(len(heads)):
sheet.write(0,head,heads[head])
dataurl=url+urlPath
print (dataurl)
htmlCon=requests.get(dataurl)
#按實際網(wǎng)頁設(shè)置編碼格式
htmlCon.encoding="UTF-8"
#bs4以lxml解析器網(wǎng)頁整體內(nèi)容
soup = BeautifulSoup(htmlCon.text, 'lxml')
#獲取頁數(shù)
sort= getHtmlSort()
getHtml()
rol = 0
workbook.save('ZY.xlsx')
六、進步需解決的問題
問題：因為有些分類再頁面是隱藏屬性车海，是需要通過點擊觸發(fā)js后才能查看
例圖
解決辦法：
方法1笛园、腳本中固定寫死這些隱藏的分類
方法2、通過selenium獲取網(wǎng)頁數(shù)據(jù)侍芝，再賦值給bs4
