[toc]
一仗扬、背景介紹
您好繁扎，我是@馬哥python說油航，一枚10年程序猿。
以前大家見面都問"吃了沒"邢锯，最近大家見面都問"陽(yáng)了沒"扬蕊，奈何疫情反反復(fù)復(fù)，惟愿身體安康丹擎！
我用python抓取了B站上千條評(píng)論尾抑，并進(jìn)行可視化輿情分析，下面詳細(xì)講解代碼蒂培。
二再愈、爬蟲代碼
2.1 展示爬取結(jié)果
首先，看下部分爬取數(shù)據(jù)：
爬取字段含：視頻鏈接护戳、評(píng)論頁(yè)碼翎冲、評(píng)論作者、評(píng)論時(shí)間媳荒、IP屬地抗悍、點(diǎn)贊數(shù)、評(píng)論內(nèi)容肺樟。
2.2 爬蟲代碼講解
導(dǎo)入需要用到的庫(kù)：
import requests # 發(fā)送請(qǐng)求
import pandas as pd # 保存csv文件
import os # 判斷文件是否存在
import time
from time import sleep # 設(shè)置等待檐春，防止反爬
import random # 生成隨機(jī)數(shù)
定義一個(gè)請(qǐng)求頭：
# 請(qǐng)求頭
headers = {
'authority': 'api.bilibili.com',
'accept': 'application/json, text/plain, */*',
'accept-language': 'zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6',
# 需定期更換cookie，否則location爬不到
'cookie': "需換成自己的cookie值",
'origin': 'https://www.bilibili.com',
'referer': 'https://www.bilibili.com/video/BV1FG4y1Z7po/?spm_id_from=333.337.search-card.all.click&vd_source=69a50ad969074af9e79ad13b34b1a548',
'sec-ch-ua': '"Chromium";v="106", "Microsoft Edge";v="106", "Not;A=Brand";v="99"',
'sec-ch-ua-mobile': '?0',
'sec-ch-ua-platform': '"Windows"',
'sec-fetch-dest': 'empty',
'sec-fetch-mode': 'cors',
'sec-fetch-site': 'same-site',
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.0.0 Safari/537.36 Edg/106.0.1370.47'
}
請(qǐng)求頭中的cookie是個(gè)很關(guān)鍵的參數(shù)么伯，如果不設(shè)置cookie疟暖，會(huì)導(dǎo)致數(shù)據(jù)殘缺或無(wú)法爬取到數(shù)據(jù)。
那么cookie如何獲取呢？打開開發(fā)者模式俐巴，見下圖：
所以開發(fā)一個(gè)函數(shù)用于轉(zhuǎn)換時(shí)間格式：
def trans_date(v_timestamp):
"""10位時(shí)間戳轉(zhuǎn)換為時(shí)間字符串"""
timeArray = time.localtime(v_timestamp)
otherStyleTime = time.strftime("%Y-%m-%d %H:%M:%S", timeArray)
return otherStyleTime
向B站發(fā)送請(qǐng)求：
response = requests.get(url, headers=headers, ) # 發(fā)送請(qǐng)求
0-19個(gè)評(píng)論欣舵，都存放在replies下面擎鸠，replies又在data下面，所以缘圈，這樣解析數(shù)據(jù)：
data_list = response.json()['data']['replies'] # 解析評(píng)論數(shù)據(jù)
這樣劣光，data_list里面就是存儲(chǔ)的每條評(píng)論數(shù)據(jù)了。
接下來嗎糟把，就是解析出每條評(píng)論里的各個(gè)字段了绢涡。
我們以評(píng)論內(nèi)容這個(gè)字段為例：
comment_list = [] # 評(píng)論內(nèi)容空列表
# 循環(huán)爬取每一條評(píng)論數(shù)據(jù)
for a in data_list:
# 評(píng)論內(nèi)容
comment = a['content']['message']
comment_list.append(comment)
其他字段同理，不再贅述遣疯。
最后雄可，把這些列表數(shù)據(jù)保存到DataFrame里面，再to_csv保存到csv文件缠犀，持久化存儲(chǔ)完成：
# 把列表拼裝為DataFrame數(shù)據(jù)
df = pd.DataFrame({
'視頻鏈接': 'https://www.bilibili.com/video/' + v_bid,
'評(píng)論頁(yè)碼': (i + 1),
'評(píng)論作者': user_list,
'評(píng)論時(shí)間': time_list,
'IP屬地': location_list,
'點(diǎn)贊數(shù)': like_list,
'評(píng)論內(nèi)容': comment_list,
})
# 把評(píng)論數(shù)據(jù)保存到csv文件
df.to_csv(outfile, mode='a+', encoding='utf_8_sig', index=False, header=header)
注意数苫，加上encoding='utf_8_sig'，否則可能會(huì)產(chǎn)生亂碼問題辨液！
下面虐急，是主函數(shù)循環(huán)爬取部分代碼：（支持多個(gè)視頻的循環(huán)爬取）
# 隨便找了幾個(gè)"世界杯"相關(guān)的視頻ID
bid_list = ['BV1DP411g7jx', 'BV1M24y117K3', 'BV1nt4y1N7Kj']
# 評(píng)論最大爬取頁(yè)（每頁(yè)20條評(píng)論）
max_page = 30
# 循環(huán)爬取這幾個(gè)視頻的評(píng)論
for bid in bid_list:
# 輸出文件名
outfile = 'b站評(píng)論_{}.csv'.format(now)
# 轉(zhuǎn)換aid
aid = bv2av(bid=bid)
# 爬取評(píng)論
get_comment(v_aid=aid, v_bid=bid)
三室梅、可視化代碼
為了方便看效果戏仓，以下代碼采用jupyter notebook進(jìn)行演示。
3.1 讀取數(shù)據(jù)
用read_csv讀取剛才爬取的B站評(píng)論數(shù)據(jù)：
3.2 數(shù)據(jù)清洗
處理空值及重復(fù)值：
3.3 可視化
3.3.1 IP屬地分析-柱形圖
可得結(jié)論：關(guān)于"陽(yáng)了"這個(gè)話題亡鼠，評(píng)論里關(guān)注度最高為廣東赏殃、北京、江蘇等地區(qū)间涵，其中仁热，廣東省的關(guān)注度最高。同時(shí)勾哩，我們注意到抗蠢，也包含一些海外網(wǎng)友的少量評(píng)論。
3.3.2 評(píng)論時(shí)間分析-折線圖
分析出評(píng)論時(shí)間的分布情況：
可得結(jié)論：關(guān)于"陽(yáng)了"這個(gè)話題思劳，再抓取到的數(shù)據(jù)范圍內(nèi)迅矛，12.18日的評(píng)論數(shù)據(jù)量最大，達(dá)到了將近900的數(shù)量峰值潜叛。
3.3.3 點(diǎn)贊數(shù)分布-直方圖
由于點(diǎn)贊數(shù)大部分為0或個(gè)位數(shù)情況秽褒，個(gè)別點(diǎn)贊數(shù)到達(dá)成千上萬(wàn)壶硅，直方圖展示效果不佳，因此销斟，僅提取點(diǎn)贊數(shù)<30的數(shù)據(jù)繪制直方圖庐椒。
可得結(jié)論：從直方圖的分布來看，點(diǎn)贊數(shù)在0-3個(gè)的評(píng)論占據(jù)大多數(shù)蚂踊，很少點(diǎn)贊數(shù)達(dá)到了上千上萬(wàn)的情況约谈。證明網(wǎng)友對(duì)"陽(yáng)了"事件的態(tài)度分布比較均勻，沒有出現(xiàn)態(tài)度非常聚集的評(píng)論內(nèi)容犁钟。
3.3.4 評(píng)論內(nèi)容-情感分布餅圖
針對(duì)中文評(píng)論數(shù)據(jù)棱诱，采用snownlp開發(fā)情感判定函數(shù)：
可得結(jié)論：關(guān)于"陽(yáng)了"這個(gè)話題涝动，積極評(píng)價(jià)與消極評(píng)價(jià)占比差不多军俊，積極評(píng)價(jià)稍高一點(diǎn)，反應(yīng)出網(wǎng)友對(duì)感染陽(yáng)性的態(tài)度反差很大捧存，大約各占一半。
3.3.5 評(píng)論內(nèi)容-詞云圖
初始化停用詞和詞云圖對(duì)象：
可得結(jié)論：在詞云圖中昔穴，陽(yáng)、感染提前、發(fā)燒吗货、癥狀、疼狈网、嗓子等詞匯較大宙搬，出現(xiàn)頻率較高，反應(yīng)出眾多網(wǎng)友對(duì)確診陽(yáng)性后描述病癥拓哺、積極探討病情的現(xiàn)狀勇垛。
三、演示視頻
代碼演示視頻：
https://www.zhihu.com/zvideo/1590645358123839488
by 馬哥python說
