Python音樂數(shù)據(jù)爬蟲分析系統(tǒng) echarts可視化 Flask框架 音樂推薦系統(tǒng) 源碼下載(計算機(jī)畢業(yè)設(shè)計)

Python音樂數(shù)據(jù)爬蟲分析系統(tǒng)? echarts可視化 Flask框架 音樂推薦系統(tǒng) 源碼下載(計算機(jī)畢業(yè)設(shè)計)

一铣墨、技術(shù)說明

網(wǎng)易云音樂數(shù)據(jù)(歌單、用戶办绝、歌詞伊约、評論)Python爬取Flask框架搭建ECharts、WordCloud可視化項目孕蝉。系統(tǒng)分為:數(shù)據(jù)采集模塊屡律、數(shù)據(jù)分析處理模塊、數(shù)據(jù)存儲模塊降淮、以及數(shù)據(jù)可視化呈現(xiàn)模塊超埋。

設(shè)計語言:Python+SQL+HTML+CSS+JS

數(shù)據(jù)爬取:selenium+request+json+time+random

數(shù)據(jù)存儲:SQLite

數(shù)據(jù)清洗:re+replace+time.localtime+time.strftime

后端搭建:PalletsFlask

前端搭建:TwitterBootstrap

圖表展現(xiàn):ApacheECharts

詞云制作:pyplot+jieba+wordcloud+Image+numpy

(1)selenium主要用webdriver來模仿認(rèn)為點擊爬取頁面數(shù)據(jù)佳鳖,request負(fù)責(zé)偽裝headers獲取頁面霍殴,json負(fù)責(zé)將獲取到的文本數(shù)據(jù)轉(zhuǎn)換為字典數(shù)據(jù)。time和random負(fù)責(zé)隨機(jī)訪問頻率系吩。

(2)re是通過正則表達(dá)式提取一定規(guī)則的文本內(nèi)容繁成。replace主要取出部分不要的字符。time模塊負(fù)責(zé)轉(zhuǎn)換json時間

(3)Flask通過編寫app路由處理請求響應(yīng)淑玫,然后以render_template渲染視圖效果。

(4)jieba負(fù)責(zé)提供分詞面睛、識詞過濾絮蒿,Image負(fù)責(zé)背景圖的圖像處理,numpy負(fù)責(zé)矩陣運(yùn)算叁鉴,中文顯示需要的空間土涝,wordcloud負(fù)責(zé)形成有遮罩效果的圖形,pyplot是負(fù)責(zé)繪出最終圖形幌墓。


項目目標(biāo)

1. 實現(xiàn)通過搜索關(guān)鍵詞但壮,對相關(guān)歌曲的主要信息進(jìn)行展示

2. 對搜索出的信息進(jìn)行歌單冀泻、歌詞、評論蜡饵、聽眾地域分布弹渔、活躍時間段等幾個方面的數(shù)據(jù)進(jìn)行可視化分析。

技術(shù)環(huán)境

Python3溯祸、urllib庫肢专、Flask框架、ECharts.js焦辅、WordCloud庫博杖、SQLite3數(shù)據(jù)庫

基本數(shù)據(jù):

1.爬取歌單預(yù)覽頁,所有歌單數(shù)據(jù)筷登,35單*38頁剃根,(歌單詳情url)

2.爬取歌單詳情頁(歌單標(biāo)題、歌單作者前方、作者url狈醉、歌單創(chuàng)建日期、歌單收藏量镣丑、歌單分享量舔糖、歌單評論數(shù)、歌單標(biāo)簽莺匠、歌單介紹金吗、歌單歌曲數(shù)量)

3.爬取歌單內(nèi)音樂(歌曲id、標(biāo)題趣竣、時長摇庙、歌手、專輯遥缕、歌曲url)

4.爬取歌曲詳情(歌曲id卫袒、歌曲標(biāo)題、歌手单匣、專輯夕凝、歌詞、評論數(shù)户秤、評論內(nèi)容)

5.爬取歌曲歌單評論內(nèi)容(歌單歌曲辨識id码秉、評論者id、評論者名鸡号、評論內(nèi)容转砖、評論時間、評論點贊量鲸伴、評論者url-地區(qū)累計聽歌量)

分析方向:

1.數(shù)據(jù)庫可視化:用戶搜索關(guān)鍵詞府蔗,完成相應(yīng)內(nèi)容可視化的展現(xiàn)晋控。

1.數(shù)據(jù)呈現(xiàn)的多樣化:多種圖表形式。(用戶活躍時間分布姓赤、用戶地域分布赡译、歌單標(biāo)簽排名、歌曲情緒模捂、評論區(qū)詞云捶朵、歌單歌曲詞云、)

2.數(shù)據(jù)維度的設(shè)計:能夠從不同維度的數(shù)據(jù)分析狂男,為用戶提供更多的價值

3.界面表現(xiàn)的美化(可點擊保存詞云圖片综看,根據(jù)歌曲id生成評論區(qū)詞云、根據(jù)歌單id生成歌單詞云)

二岖食、運(yùn)行截圖

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末红碑,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子泡垃,更是在濱河造成了極大的恐慌析珊,老刑警劉巖,帶你破解...
    沈念sama閱讀 216,692評論 6 501
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件蔑穴,死亡現(xiàn)場離奇詭異忠寻,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)存和,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,482評論 3 392
  • 文/潘曉璐 我一進(jìn)店門奕剃,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人捐腿,你說我怎么就攤上這事纵朋。” “怎么了茄袖?”我有些...
    開封第一講書人閱讀 162,995評論 0 353
  • 文/不壞的土叔 我叫張陵操软,是天一觀的道長。 經(jīng)常有香客問我宪祥,道長聂薪,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,223評論 1 292
  • 正文 為了忘掉前任蝗羊,我火速辦了婚禮胆建,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘肘交。我一直安慰自己,他們只是感情好扑馁,可當(dāng)我...
    茶點故事閱讀 67,245評論 6 388
  • 文/花漫 我一把揭開白布涯呻。 她就那樣靜靜地躺著凉驻,像睡著了一般。 火紅的嫁衣襯著肌膚如雪复罐。 梳的紋絲不亂的頭發(fā)上涝登,一...
    開封第一講書人閱讀 51,208評論 1 299
  • 那天,我揣著相機(jī)與錄音效诅,去河邊找鬼胀滚。 笑死,一個胖子當(dāng)著我的面吹牛乱投,可吹牛的內(nèi)容都是我干的咽笼。 我是一名探鬼主播,決...
    沈念sama閱讀 40,091評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼戚炫,長吁一口氣:“原來是場噩夢啊……” “哼剑刑!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起双肤,我...
    開封第一講書人閱讀 38,929評論 0 274
  • 序言:老撾萬榮一對情侶失蹤施掏,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后茅糜,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體七芭,經(jīng)...
    沈念sama閱讀 45,346評論 1 311
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,570評論 2 333
  • 正文 我和宋清朗相戀三年蔑赘,在試婚紗的時候發(fā)現(xiàn)自己被綠了狸驳。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 39,739評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡米死,死狀恐怖锌历,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情峦筒,我是刑警寧澤究西,帶...
    沈念sama閱讀 35,437評論 5 344
  • 正文 年R本政府宣布,位于F島的核電站物喷,受9級特大地震影響卤材,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜峦失,卻給世界環(huán)境...
    茶點故事閱讀 41,037評論 3 326
  • 文/蒙蒙 一扇丛、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧尉辑,春花似錦帆精、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,677評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽隘蝎。三九已至,卻和暖如春襟企,著一層夾襖步出監(jiān)牢的瞬間嘱么,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 32,833評論 1 269
  • 我被黑心中介騙來泰國打工顽悼, 沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留曼振,地道東北人。 一個月前我還...
    沈念sama閱讀 47,760評論 2 369
  • 正文 我出身青樓蔚龙,卻偏偏與公主長得像冰评,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子府蛇,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 44,647評論 2 354

推薦閱讀更多精彩內(nèi)容