眾所周知魂毁，彈幕玻佩，即在網(wǎng)絡上觀看視頻時彈出的評論性字幕。不知道大家看視頻的時候會不會點開彈幕席楚，于我而言咬崔，彈幕是視頻內(nèi)容的良好補充，是一個組織良好的評論序列烦秩。通過分析彈幕垮斯，我們可以快速洞察廣大觀眾對于視頻的看法。
阿喵通過一個關于《八佰》的視頻彈幕數(shù)據(jù)只祠，繪制了如下詞云圖兜蠕，感覺效果還是可以的。
點擊并拖拽以移動
?
這里多說一句抛寝，小編是一名python開發(fā)工程師熊杨，這里有我自己整理的一套最新的python系統(tǒng)學習教程，包括從基礎的python腳本到web開發(fā)盗舰、爬蟲晶府、數(shù)據(jù)分析、數(shù)據(jù)可視化钻趋、機器學習等川陆。想要這些資料的可以關注小編，并在后臺私信小編即可領取蛮位。
海量的彈幕數(shù)據(jù)不僅可以繪制此類詞云圖较沪，還可以調(diào)用百度AI進行情感分析。那么土至，我們該如何獲取彈幕數(shù)據(jù)呢购对？本文運用Python爬取B站視頻、騰訊視頻陶因、芒果TV和愛奇藝視頻等彈幕骡苞，讓你輕松獲取主流視頻網(wǎng)站彈幕數(shù)據(jù)。
一楷扬、B站視頻彈幕
1.網(wǎng)頁分析
本文以爬取up主硬核的半佛仙人發(fā)布的《你知道奶茶加盟到底有多坑人嗎解幽？》視頻彈幕為例，首先通過以下步驟找到存放彈幕的真實url烘苹。
點擊并拖拽以移動
簡單分析url參數(shù)躲株，很顯然，date參數(shù)表示發(fā)送彈幕的時間镣衡，其他參數(shù)均無變化霜定。因此档悠，只需要改變date參數(shù)，然后通過beautifulsoup解析到彈幕數(shù)據(jù)即可望浩。
2.爬蟲實戰(zhàn)
import requests #請求網(wǎng)頁數(shù)據(jù)
from bs4 import BeautifulSoup #美味湯解析數(shù)據(jù)
import pandas as pd
import time
from tqdm import trange #獲取爬取速度
def get_bilibili_url (start, end) :
url_list = []
date_list = [i for i in pd.date_range(start, end).strftime( '%Y-%m-%d' )]
for date in date_list:
url = f"api.bilibili.com/x/v2/dm/his… {date} "
url_list.append(url)
return url_list
def get_bilibili_danmu (url_list) :
headers = {
"user-agent" : "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36" ,
"cookie" : "你自己的" #Headers中copy即可
}
file = open( "bilibili_danmu.txt" , 'w' )
for i in trange(len(url_list)):
url = url_list[i]
response = requests.get(url, headers=headers)
response.encoding = 'utf-8'
soup = BeautifulSoup(response.text)
data = soup.find_all( "d" )
danmu = [data[i].text for i in range(len(data))]
for items in danmu:
file.write(items)
file.write( "\n" )
time.sleep( 3 )
file.close()
ifname== "main" :
start = '9/24/2020' #設置爬取彈幕的起始日
end = '9/26/2020' #設置爬取彈幕的終止日
url_list = get_bilibili_url(start, end)
get_bilibili_danmu(url_list)
print(
"彈幕爬取完成"
)
3.數(shù)據(jù)預覽
點擊并拖拽以移動
?
二辖所、騰訊視頻彈幕
1.網(wǎng)頁分析
本文以爬取《脫口秀大會 第3季》最后一期視頻彈幕為例，首先通過以下步驟找到存放彈幕的真實url磨德。
點擊并拖拽以移動
通過刪減各參數(shù)缘回，發(fā)現(xiàn)僅有timestamp參數(shù)的變化會影響彈幕數(shù)據(jù)的爬取，且timestamp參數(shù)是首項為15典挑，公差為30的等差數(shù)列酥宴。可以大膽猜測騰訊視頻每30秒更新一頁彈幕數(shù)據(jù)您觉，該視頻長度為12399秒拙寡。而數(shù)據(jù)格式為標準的json格式，因此json.loads直接解析數(shù)據(jù)即可顾犹。
2.爬蟲實戰(zhàn)
import requests
import json
import time
import pandas as pd
df = pd.DataFrame()
for page in range( 15 , 12399 , 30 ):
headers = { 'User-Agent' : 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36' }
url = 'mfm.video.qq.com/danmu?otype… .format(page)
print( "正在提取第" + str(page) + "頁" )
html = requests.get(url,headers = headers)
bs = json.loads(html.text,strict = False ) #strict參數(shù)解決部分內(nèi)容json格式解析報錯
time.sleep( 1 )
#遍歷獲取目標字段
for i in bs[ 'comments' ]:
content = i[ 'content' ] #彈幕
upcount = i[ 'upcount' ] #點贊數(shù)
user_degree =i[ 'uservip_degree' ] #會員等級
timepoint = i[ 'timepoint' ] #發(fā)布時間
comment_id = i[ 'commentid' ] #彈幕id
cache = pd.DataFrame({ '彈幕' :[content], '會員等級' :[user_degree],
'發(fā)布時間' :[timepoint], '彈幕點贊' :[upcount], '彈幕id' :[comment_id]})
df = pd.concat([df,cache])
df.to_csv( 'tengxun_danmu.csv' ,encoding = 'utf-8' )
print(df.shape)
3.數(shù)據(jù)預覽
點擊并拖拽以移動
三倒庵、芒果TV彈幕
1.網(wǎng)頁分析
本文以爬取《乘風破浪的姐姐》最后一期視頻彈幕為例，首先通過以下步驟找到存放彈幕的真實url炫刷。
點擊并拖拽以移動
?
通過分析參數(shù)，我們可以發(fā)現(xiàn)郁妈，芒果TV會生成首項為0浑玛，公差為1的等差數(shù)列json彈幕文件，每個json文件存儲前一分鐘內(nèi)所有的彈幕數(shù)據(jù)噩咪。彈幕數(shù)據(jù)存放格式為json顾彰，數(shù)據(jù)解析較為簡單。
2.爬蟲實戰(zhàn)
import requests
import json
import pandas as pd
def get_mangguo_danmu (num1, num2, page) :
try :
url = 'bullet-ws.hitv.com/bullet/2020…
print( "正在爬取第" + str(page) + "頁" )
danmuurl = url.format(num1, num2, page)
res = requests.get(danmuurl)
res.encoding = 'utf-8'
#print(res.text)
data = json.loads(res.text)
except :
print( "無法連接" )
details = []
for i in range(len(data[ 'data' ][ 'items' ])): # 彈幕數(shù)據(jù)在json文件'data'的'items'中
result = {}
result[ 'stype' ] = num2 # 通過stype可識別期數(shù)
result[ 'id' ] = data[ 'data' ][ 'items' ][i][ 'id' ] # 獲取id
try : # 嘗試獲取uname
result[ 'uname' ] = data[ 'data' ][ 'items' ][i][ 'uname' ]
except :
result[ 'uname' ] = ''
result[ 'content' ] = data[ 'data' ][ 'items' ][i][ 'content' ] # 獲取彈幕內(nèi)容
result[ 'time' ] = data[ 'data' ][ 'items' ][i][ 'time' ] # 獲取彈幕發(fā)布時間
try : # 嘗試獲取彈幕點贊數(shù)
result[ 'v2_up_count' ] = data[ 'data' ][ 'items' ][i][ 'v2_up_count' ]
except :
result[ 'v2_up_count' ] = ''
details.append(result)
return details
#輸入關鍵信息
def count_danmu () :
danmu_total = []
num1 = input( '第一個數(shù)字' )
num2 = input( '第二個數(shù)字' )
page = int(input( '輸入總時長' ))
for i in range(page):
danmu_total.extend(get_mangguo_danmu(num1, num2, i))
return danmu_total
def main () :
df = pd.DataFrame(count_danmu())
df.to_csv( 'mangguo_danmu.csv' )
ifname== 'main' :
main()
3.數(shù)據(jù)預覽
點擊并拖拽以移動
四胃碾、愛奇藝彈幕
1.網(wǎng)頁分析
本文以爬取《樂隊的夏天第2季》第13期上視頻彈幕為例涨享，首先通過以下步驟找到存放彈幕的真實url。
點擊并拖拽以移動
?
分析彈幕真實url仆百，我們發(fā)現(xiàn)厕隧，參數(shù)5981449914376200是視頻tvid，參數(shù)62是tvid倒數(shù)4為的前兩位俄周，參數(shù)00是tvid的最后兩位吁讨，.z前的參數(shù)1為視頻總時長除以300秒向上取整。觀察相鄰兩個彈幕文件包峦朗，可以看出愛奇藝每5分鐘更新一次彈幕文件建丧。
點擊并拖拽以移動
?
由于直接爬取出來的彈幕文件存在亂碼，需要進行二進制編碼波势，方可得到最終的彈幕數(shù)據(jù)翎朱。
2.爬蟲實戰(zhàn)
import zlib
import requests
1.爬取xml文件
def download_xml (url) :
bulletold = requests.get(url).content # 二進制內(nèi)容
return zipdecode(bulletold)
def zipdecode (bulletold) :
'對zip壓縮的二進制內(nèi)容解碼成文本'
decode = zlib.decompress(bytearray(bulletold), 15 + 32 ).decode( 'utf-8' )
return decode
for x in range( 1 , 12 ):
x是從1到12橄维，12怎么來的，這一集總共57分鐘拴曲，愛奇藝每5分鐘會加載新的彈幕,57除以5向上取整
url = 'cmts.iqiyi.com/bullet/62/0… + str(x) + '.z'
xml = download_xml(url)
把編碼好的文件分別寫入17個xml文件中（類似于txt文件）挣郭，方便后邊取數(shù)據(jù)
with open( './aiqiyi/iqiyi' + str(x) + '.xml' , 'a+' , encoding= 'utf-8' ) as f:
f.write(xml)
2.讀取xml文件中的彈幕數(shù)據(jù)數(shù)據(jù)
from xml.dom.minidom import parse
import xml.dom.minidom
def xml_parse (file_name) :
DOMTree = xml.dom.minidom.parse(file_name)
collection = DOMTree.documentElement
在集合中獲取所有entry數(shù)據(jù)
entrys = collection.getElementsByTagName( "entry" )
print(entrys)
result = []
for entry in entrys:
content = entry.getElementsByTagName( 'content' )[ 0 ]
print(content.childNodes[ 0 ].data)
i = content.childNodes[ 0 ].data
result.append(i)
return result
with open( "aiyiqi_danmu.txt" , mode= "w" , encoding= "utf-8" ) as f:
for x in range( 1 , 12 ):
l = xml_parse( "./aiqiyi/iqiyi" + str(x) + ".xml" )
for line in l:
f.write(line)
f.write(
"\n"
3.數(shù)據(jù)預覽
點擊并拖拽以移動
最后多說一句，小編是一名python開發(fā)工程師疗韵，這里有我自己整理的一套最新的python系統(tǒng)學習教程兑障，包括從基礎的python腳本到web開發(fā)、爬蟲蕉汪、數(shù)據(jù)分析流译、數(shù)據(jù)可視化、機器學習等者疤。想要這些資料的可以關注小編福澡，并在后臺私信小編即可領取。
本文章素材來源于網(wǎng)絡驹马，如有侵權請聯(lián)系刪除革砸。
