前言
今天給大家介紹的是Python爬取新冠疫情數(shù)據(jù)并實現(xiàn)數(shù)據(jù)可視化，在這里給需要的小伙伴們代碼住涉，并且給出一點小心得麸锉。
首先是爬取之前應(yīng)該盡可能偽裝成瀏覽器而不被識別出來是爬蟲，基本的是加請求頭舆声，但是這樣的純文本數(shù)據(jù)爬取的人會很多花沉，所以我們需要考慮更換代理IP和隨機更換請求頭的方式來對疫情網(wǎng)站數(shù)據(jù)進行爬取。
在每次進行爬蟲代碼的編寫之前媳握，我們的第一步也是最重要的一步就是分析我們的網(wǎng)頁碱屁。
通過分析我們發(fā)現(xiàn)在爬取過程中速度比較慢，所以我們還可以通過禁用谷歌瀏覽器圖片蛾找、JavaScript等方式提升爬蟲爬取速度娩脾。
開發(fā)工具
Python版本： 3.8
相關(guān)模塊：
requests模塊
lxml模塊
openpyxl模塊
pandas模塊
pyecharts模塊
環(huán)境搭建
安裝Python并添加到環(huán)境變量，pip安裝需要的相關(guān)模塊即可打毛。
思路分析
瀏覽器中打開我們要爬取的頁面
按F12進入開發(fā)者工具柿赊，查看我們想要的疫情數(shù)據(jù)在哪里
這里我們需要頁面數(shù)據(jù)就可以了
代碼實現(xiàn)
Epidemic crawler.py
import requests
from lxml import etree
import json
import openpyxl
#通用爬蟲
url = 'https://voice.baidu.com/act/newpneumonia/newpneumonia'
headers = {
"User-Agent": "換成自己瀏覽器的"
}
response = requests.get(url=url,headers=headers).text
#在使用xpath的時候要用樹形態(tài)
html = etree.HTML(response)
#用xpath來獲取我們之前找到的頁面json數(shù)據(jù) 并打印看看
json_text = html.xpath('//script[@type="application/json"]/text()')
json_text = json_text[0]
print(json_text)
#用python本地自帶的庫轉(zhuǎn)換一下json數(shù)據(jù)
result = json.loads(json_text)
print(result)
#通過打印出轉(zhuǎn)換的對象我們可以看到我們要的數(shù)據(jù)都要key為component對應(yīng)的值之下，所以現(xiàn)在我們將值拿出來
result = result["component"]
#再次打印看看結(jié)果
print(result)
#獲取國內(nèi)當前數(shù)據(jù)
result = result[0]['caseList']
print(result)
#創(chuàng)建工作簿
wb = openpyxl.Workbook()
#創(chuàng)建工作表
ws = wb.active
#設(shè)置表的標題
ws.title = "國內(nèi)疫情"
#寫入表頭
ws.append(["省份","累計確診","死亡","治愈"])
#獲取各省份的數(shù)據(jù)并寫入
for line in result:
line_name = [line["area"],line["confirmed"],line["died"],line["crued"]]
for ele in line_name:
if ele == '':
ele = 0
ws.append(line_name)
#保存到excel中
wb.save('./china.xls')
User-Agent如何獲取
遇到的問題Excel xlsx file幻枉； not supported解決辦法
原因：xlrd1.2.0之后的版本不支持xlsx格式碰声，支持xls格式
辦法一：
卸載新版本 pip uninstall xlrd
安裝老版本：pip install xlrd=1.2.0 (或者更早版本)
方法二：
將xlrd用到的excel版本格式修改為xls（保險起見，另存為xls格式）
疫情數(shù)據(jù)效果展示
Visualization.py
#可視化部分
import pandas as pd
from pyecharts.charts import Map,Page
from pyecharts import options as opts
#設(shè)置列對齊
pd.set_option('display.unicode.ambiguous_as_wide', True)
pd.set_option('display.unicode.east_asian_width', True)
#打開文件
df = pd.read_excel('china.xls')
#對省份進行統(tǒng)計
data2 = df['省份']
data2_list = list(data2)
data3 = df['累計確診']
data3_list = list(data3)
data4 = df['死亡']
data4_list = list(data4)
data5 = df ['治愈']
data5_list = list(data5)
c = (
Map()
.add("治愈", [list(z) for z in zip(data2_list, data5_list)], "china")
.set_global_opts(
title_opts=opts.TitleOpts(),
visualmap_opts=opts.VisualMapOpts(max_=200),
)
)
c.render()
Cumulative = (
Map()
.add("累計確診", [list(z) for z in zip(data2_list, data3_list)], "china")
.set_global_opts(
title_opts=opts.TitleOpts(),
visualmap_opts=opts.VisualMapOpts(max_=200),
)
)
death = (
Map()
.add("死亡", [list(z) for z in zip(data2_list, data4_list)], "china")
.set_global_opts(
title_opts=opts.TitleOpts(),
visualmap_opts=opts.VisualMapOpts(max_=200),
)
)
cure = (
Map()
.add("治愈", [list(z) for z in zip(data2_list, data5_list)], "china")
.set_global_opts(
title_opts=opts.TitleOpts(),
visualmap_opts=opts.VisualMapOpts(max_=200),
)
)
page = Page(layout=Page.DraggablePageLayout)
page.add(
Cumulative,
death,
cure,
)
#先生成render.html文件
page.render()
疫情數(shù)據(jù)數(shù)據(jù)可視化
最后
今天的分享到這里就結(jié)束了 熬甫，感興趣的朋友也可以去試試哈
對文章有問題的胰挑，或者有其他關(guān)于python的問題，可以在評論區(qū)留言或者私信我哦
覺得我分享的文章不錯的話，可以關(guān)注一下我瞻颂，或者給文章點贊(/≧▽≦)/
