Python的網(wǎng)易云音樂數(shù)據(jù)分析系統(tǒng) 爬蟲 echarts可視化 Flask框架 音樂推薦系統(tǒng)

Python音樂數(shù)據(jù)分析系統(tǒng) 爬蟲 echarts可視化 Flask框架 音樂推薦系統(tǒng) 計(jì)算機(jī)畢業(yè)設(shè)計(jì) 源碼下載

一樊零、技術(shù)說明

網(wǎng)易云音樂數(shù)據(jù)(歌單、用戶抱既、歌詞、評(píng)論)Python爬取Flask框架搭建ECharts祷愉、WordCloud可視化項(xiàng)目串述。系統(tǒng)分為：數(shù)據(jù)采集模塊、數(shù)據(jù)分析處理模塊招刹、數(shù)據(jù)存儲(chǔ)模塊妥粟、以及數(shù)據(jù)可視化呈現(xiàn)模塊审丘。

項(xiàng)目目標(biāo)：

1. 實(shí)現(xiàn)通過搜索關(guān)鍵詞，對(duì)相關(guān)歌曲的主要信息進(jìn)行展示

2. 對(duì)搜索出的信息進(jìn)行歌單勾给、歌詞滩报、評(píng)論、聽眾地域分布播急、活躍時(shí)間段等幾個(gè)方面的數(shù)據(jù)進(jìn)行可視化分析脓钾。

技術(shù)環(huán)境

Python3、urllib庫桩警、Flask框架可训、ECharts.js、WordCloud庫捶枢、SQLite3數(shù)據(jù)庫

基本數(shù)據(jù)：

1.爬取歌單預(yù)覽頁握截，所有歌單數(shù)據(jù)，35單*38頁烂叔，（歌單詳情url）

2.爬取歌單詳情頁（歌單標(biāo)題谨胞、歌單作者、作者url蒜鸡、歌單創(chuàng)建日期胯努、歌單收藏量牢裳、歌單分享量、歌單評(píng)論數(shù)叶沛、歌單標(biāo)簽蒲讯、歌單介紹、歌單歌曲數(shù)量）

3.爬取歌單內(nèi)音樂（歌曲id恬汁、標(biāo)題、時(shí)長辜伟、歌手氓侧、專輯、歌曲url）

4.爬取歌曲詳情（歌曲id导狡、歌曲標(biāo)題约巷、歌手、專輯旱捧、歌詞独郎、評(píng)論數(shù)、評(píng)論內(nèi)容）

5.爬取歌曲歌單評(píng)論內(nèi)容（歌單歌曲辨識(shí)id枚赡、評(píng)論者id氓癌、評(píng)論者名、評(píng)論內(nèi)容贫橙、評(píng)論時(shí)間贪婉、評(píng)論點(diǎn)贊量、評(píng)論者url-地區(qū)累計(jì)聽歌量）

分析方向：

1.數(shù)據(jù)庫可視化：用戶搜索關(guān)鍵詞卢肃，完成相應(yīng)內(nèi)容可視化的展現(xiàn)疲迂。

1.數(shù)據(jù)呈現(xiàn)的多樣化：多種圖表形式。（用戶活躍時(shí)間分布莫湘、用戶地域分布尤蒿、歌單標(biāo)簽排名、歌曲情緒幅垮、評(píng)論區(qū)詞云腰池、歌單歌曲詞云、）

2.數(shù)據(jù)維度的設(shè)計(jì)：能夠從不同維度的數(shù)據(jù)分析忙芒，為用戶提供更多的價(jià)值

3.界面表現(xiàn)的美化（可點(diǎn)擊保存詞云圖片巩螃，根據(jù)歌曲id生成評(píng)論區(qū)詞云、根據(jù)歌單id生成歌單詞云）

二匕争、運(yùn)行截圖

四避乏、補(bǔ)充

設(shè)計(jì)語言：Python+SQL+HTML+CSS+JS

數(shù)據(jù)爬取：selenium+request+json+time+random

數(shù)據(jù)存儲(chǔ)：SQLite

數(shù)據(jù)清洗：re+replace+time.localtime+time.strftime

后端搭建：PalletsFlask

前端搭建：TwitterBootstrap

圖表展現(xiàn)：ApacheECharts

詞云制作：pyplot+jieba+wordcloud+Image+numpy

（1）selenium主要用webdriver來模仿認(rèn)為點(diǎn)擊爬取頁面數(shù)據(jù)甘桑，request負(fù)責(zé)偽裝headers獲取頁面拍皮，json負(fù)責(zé)將獲取到的文本數(shù)據(jù)轉(zhuǎn)換為字典數(shù)據(jù)歹叮。time和random負(fù)責(zé)隨機(jī)訪問頻率。

（2）re是通過正則表達(dá)式提取一定規(guī)則的文本內(nèi)容铆帽。replace主要取出部分不要的字符咆耿。time模塊負(fù)責(zé)轉(zhuǎn)換json時(shí)間

（3）Flask通過編寫app路由處理請(qǐng)求響應(yīng)，然后以render_template渲染視圖效果爹橱。

（4）jieba負(fù)責(zé)提供分詞萨螺、識(shí)詞過濾，Image負(fù)責(zé)背景圖的圖像處理愧驱，numpy負(fù)責(zé)矩陣運(yùn)算慰技，中文顯示需要的空間，wordcloud負(fù)責(zé)形成有遮罩效果的圖形组砚，pyplot是負(fù)責(zé)繪出最終圖形吻商。

項(xiàng)目目標(biāo)：

1. 實(shí)現(xiàn)通過搜索關(guān)鍵詞，對(duì)相關(guān)歌曲的主要信息進(jìn)行展示

2. 對(duì)搜索出的信息進(jìn)行歌單糟红、歌詞艾帐、評(píng)論、聽眾地域分布盆偿、活躍時(shí)間段等幾個(gè)方面的數(shù)據(jù)進(jìn)行可視化分析柒爸。

技術(shù)環(huán)境

Python3、urllib庫事扭、Flask框架揍鸟、ECharts.js、WordCloud庫句旱、SQLite3數(shù)據(jù)庫

基本數(shù)據(jù)：

1.爬取歌單預(yù)覽頁阳藻，所有歌單數(shù)據(jù)，35單*38頁谈撒，（歌單詳情url）

2.爬取歌單詳情頁（歌單標(biāo)題腥泥、歌單作者、作者url啃匿、歌單創(chuàng)建日期蛔外、歌單收藏量、歌單分享量溯乒、歌單評(píng)論數(shù)夹厌、歌單標(biāo)簽、歌單介紹裆悄、歌單歌曲數(shù)量）

3.爬取歌單內(nèi)音樂（歌曲id矛纹、標(biāo)題、時(shí)長光稼、歌手或南、專輯孩等、歌曲url）

4.爬取歌曲詳情（歌曲id、歌曲標(biāo)題采够、歌手肄方、專輯、歌詞蹬癌、評(píng)論數(shù)权她、評(píng)論內(nèi)容）

5.爬取歌曲歌單評(píng)論內(nèi)容（歌單歌曲辨識(shí)id、評(píng)論者id逝薪、評(píng)論者名隅要、評(píng)論內(nèi)容、評(píng)論時(shí)間翼闽、評(píng)論點(diǎn)贊量拾徙、評(píng)論者url-地區(qū)累計(jì)聽歌量）

分析方向：

1.數(shù)據(jù)庫可視化：用戶搜索關(guān)鍵詞洲炊，完成相應(yīng)內(nèi)容可視化的展現(xiàn)感局。

1.數(shù)據(jù)呈現(xiàn)的多樣化：多種圖表形式。（用戶活躍時(shí)間分布暂衡、用戶地域分布询微、歌單標(biāo)簽排名、歌曲情緒狂巢、評(píng)論區(qū)詞云撑毛、歌單歌曲詞云、）

2.數(shù)據(jù)維度的設(shè)計(jì)：能夠從不同維度的數(shù)據(jù)分析唧领，為用戶提供更多的價(jià)值

3.界面表現(xiàn)的美化（可點(diǎn)擊保存詞云圖片藻雌，根據(jù)歌曲id生成評(píng)論區(qū)詞云、根據(jù)歌單id生成歌單詞云）