一盈包、爬取老番茄B站數(shù)據(jù)

前幾天開發(fā)了一個(gè)python爬蟲腳本叽粹，成功爬取了B站李子柒的視頻數(shù)據(jù)姆怪，共142個(gè)視頻杯道，17個(gè)字段，含：

視頻標(biāo)題豹爹，視頻地址裆悄，視頻上傳時(shí)間，視頻時(shí)長(zhǎng)帅戒，是否合作視頻灯帮，視頻分區(qū)，彈幕數(shù)逻住，播放量，點(diǎn)贊數(shù)迎献，投幣量瞎访，收藏量，評(píng)論數(shù)吁恍，轉(zhuǎn)發(fā)量扒秸，實(shí)時(shí)爬取時(shí)間

爬到的數(shù)據(jù)

基于爬取的老番茄B站數(shù)據(jù)，用python做了以下基礎(chǔ)數(shù)據(jù)分析的開發(fā)尼啡。

二暂衡、python數(shù)據(jù)分析

1、讀取數(shù)據(jù)源

import pandas as pd
df = pd.read_excel('B站視頻數(shù)據(jù)_老番茄.xlsx', parse_dates=['視頻上傳時(shí)間', '實(shí)時(shí)爬取時(shí)間'])  # 讀取excel數(shù)據(jù)

2崖瞭、查看數(shù)據(jù)概況

df.head(3)  # 查看前三行數(shù)據(jù)
df.shape  # 查看形狀狂巢，幾行幾列
df.info()  # 查看列信息
df.describe()  # 數(shù)據(jù)分析
df['是否合作視頻'].value_counts()  # 統(tǒng)計(jì)：是否合作視頻
df['視頻分區(qū)'].value_counts()  # 統(tǒng)計(jì)：視頻分區(qū)

3、查看異常值

df2 = df[['視頻標(biāo)題', '視頻地址', '彈幕數(shù)', '播放量',
          '點(diǎn)贊數(shù)', '投幣量', '收藏量', '評(píng)論數(shù)', '轉(zhuǎn)發(fā)量', '視頻上傳時(shí)間']]  # 去掉不關(guān)心的列
df2.loc[df.評(píng)論數(shù) == 0]  # 評(píng)論數(shù)是0的數(shù)據(jù)
df2.isnull().any()  # 空值
df2.duplicated().any()  # 重復(fù)值

4.1书聚、查看最大值（max函數(shù)）

df2.loc[df.播放量 == df['播放量'].max()]  # 播放量最高的視頻
df2.loc[df.彈幕數(shù) == df['彈幕數(shù)'].max()]  # 彈幕數(shù)最高的視頻

4.2唧领、查看最小值（min函數(shù)）

df2.loc[df.投幣量 == df['投幣量'].min()]  # 投幣量最小的視頻
df2.loc[df.收藏量 == df['收藏量'].min()]  # 收藏量最小的視頻

5.1、查看TOP3的視頻（nlargest函數(shù)）

df2.nlargest(n=3, columns='播放量')  # 播放量TOP3的視頻
df2.nlargest(n=3, columns='投幣量')  # 投幣量TOP3的視頻

5.2雌续、查看倒數(shù)3的視頻（nsmallest函數(shù)）

df2.nsmallest(n=3, columns='評(píng)論數(shù)')  # 評(píng)論數(shù)倒數(shù)3的視頻
df2.nsmallest(n=3, columns='轉(zhuǎn)發(fā)量')  # 轉(zhuǎn)發(fā)量倒數(shù)3的視頻

6疹吃、查看相關(guān)性

# 查看spearman相關(guān)性（得出結(jié)論：收藏量&投幣量，相關(guān)性最大西雀，0.98）
df2.corr(method='spearman')  

相關(guān)性分析

7.1萨驶、可視化分析-plot

import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif'] = ['SimHei']  # 顯示中文標(biāo)簽  # 指定默認(rèn)字體
plt.rcParams['axes.unicode_minus'] = False  # 解決保存圖像是負(fù)號(hào)'-'顯示為方塊的問題
# 可視化效果不好
df2.plot(x='視頻上傳時(shí)間', y=['彈幕數(shù)', '播放量', '點(diǎn)贊數(shù)', '投幣量', '收藏量', '評(píng)論數(shù)', '轉(zhuǎn)發(fā)量'])

image.png

7.2、可視化分析-pyecharts

from pyecharts.charts import Line  # 折線圖所導(dǎo)入的包
from pyecharts import options as opts  # 全局設(shè)置所導(dǎo)入的包
time_list = df2['視頻上傳時(shí)間'].astype(str).values.tolist()
line = (
    Line()  # 實(shí)例化Line
    # 加入X軸數(shù)據(jù)
    .add_xaxis(time_list)
    # 加入Y軸數(shù)據(jù)
    .add_yaxis("彈幕數(shù)", df2['彈幕數(shù)'].values.tolist())
    .add_yaxis("播放量", df2['播放量'].values.tolist())
    .add_yaxis("點(diǎn)贊數(shù)", df2['點(diǎn)贊數(shù)'].values.tolist())
    .add_yaxis("投幣量", df2['投幣量'].values.tolist())
    .add_yaxis("收藏量", df2['收藏量'].values.tolist())
    .add_yaxis("評(píng)論數(shù)", df2['評(píng)論數(shù)'].values.tolist())
    .add_yaxis("轉(zhuǎn)發(fā)量", df2['轉(zhuǎn)發(fā)量'].values.tolist())
    .set_global_opts(title_opts=opts.TitleOpts(title="老番茄B站數(shù)據(jù)分析"),
                     legend_opts=opts.LegendOpts(is_show=True),
                     )
    # 全局設(shè)置項(xiàng)
)

折線圖

至此艇肴，基礎(chǔ)數(shù)據(jù)分析工作完成了腔呜。

三、同步講解視頻

逐行代碼視頻講解：
https://www.zhihu.com/zvideo/1455460990275567616

by 馬哥python說