python 爬蟲初探和簡單數(shù)據(jù)分析及可視化乎芳,幫學妹寫個大作業(yè)

學妹期末大作業(yè)

基于Python的十年(2009年~2018年)電影票房前25位分析
根據(jù)URL“http://www.cbooo.cn” 通過代碼爬取2009-2018每年票房排名前25的影片名稱幽崩、類型苦始、總票房(萬)寞钥、平均票價慌申、場均人次及國家及地區(qū)的信息,并按照以下要求完成分析理郑。
1. 按年統(tǒng)計
1) 不同類型電影的平均票房
2) 不同國家及地區(qū)電影在前25排名中的占比
2. 分析十年間
1) 每年票房冠軍的票房走勢蹄溉,并找出十年票房總冠軍
2) 不同類型的票房分冠軍
3) 同一類型電影平均票房走勢,分別找出上升您炉、下降最厲害的兩種類型
4) 同一地區(qū)在前25排名中占比的變化趨勢柒爵,分別找出占比上升、下降最厲害的兩個地區(qū)
5) 探究是否有一種或多種類型的電影在十年間票房震蕩非常厲害
3. 分析總票房和平均票價赚爵、場均人次棉胀、排片場數(shù)之間的關(guān)系法瑟。
4.撰寫word文檔完成本分析題,所有的結(jié)論和分析都需要配圖或表加以支撐唁奢。并將十年間共250部電影名稱作成詞云烘托主題霎挟。

大作業(yè)分析

1.環(huán)境,建議使用anaconda3(環(huán)境集成麻掸,不用再去安裝依賴包酥夭,之類的)
官網(wǎng)地址:https://www.anaconda.com/download/
2.分為爬取數(shù)據(jù)和分析兩個部分
下面直接上代碼

爬蟲部分,爬取數(shù)據(jù)并存放到data.csv中

#!/usr/bin/python
# -*- coding: utf-8 -*-
import requests
import time
import re
import csv
from bs4 import BeautifulSoup

#設(shè)置URL固定部分
url='http://www.cbooo.cn/year?year='
#設(shè)置請求頭部信息
headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
}
#循環(huán)抓取列表頁信息
for year in range(2009,2019):
    if year == 2009:
        year=str(year)
        a=(url+year)
        r=requests.get(url=a,headers=headers)
        html=r.content
    else:
        year=str(year)
        a=(url+year)
        r=requests.get(url=a,headers=headers)
        html2=r.content
        html = html + html2
    #每次間隔0.5秒
    time.sleep(0.5)
lj=BeautifulSoup(html,'html.parser')
#print(lj)
#提取名稱脊奋、類型熬北、總票房(萬)、平均票價诚隙、場均人次及國家及地區(qū)
result=lj.find_all('td')
#print(result)
#print(len(result))
mname=[]
title=""
index=1
year=2009
for i in result:
    i=str(i)
    title=re.findall(r'</span>(.*?)</p>',i,re.I|re.M)
    if len(title)>0:
        mname.append(index)
        index=index+1
        mname.append(title[0])
    else:
        info=re.findall(r'<td>(.*?)</td>',i,re.I|re.M)
        mname.append(info[0])
#print(len(mname))
#print(mname)
k=0
data=[]
while k<2000:
    year=2009
    year=year+(k//200)
    data.append([mname[k],mname[k+1],mname[k+2],mname[k+3],mname[k+4],mname[k+5],mname[k+6],mname[k+7],year,1])
    k=k+8
#print(data)
print(len(data))#一共250條數(shù)據(jù)
#將結(jié)果存到CSV文件
with open('./data.csv','w') as fout:
    cin= csv.writer(fout,lineterminator='\n')
    #寫入row_1    cin.writerow(["index","name","type","zpf","mantimes","price","area","datatime","year","mark"])
    for item in data:
        cin.writerow(item)

結(jié)果讶隐,生成一個data.csv文件,我們打開看一下


image.png

一共250行數(shù)據(jù)久又,也就是近10年的電影
接下來整份,我們進行分析部分的代碼

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline

data1 = pd.read_csv('./data.csv',encoding='gbk')
#data

# 1.1 按年統(tǒng)計 不同類型電影的平均票房
data=data1
data = data.groupby(['type','year']).zpf.mean().unstack()
#沒有的補0
data.fillna(0,inplace = True)
data
image.png
# 1.2 按年統(tǒng)計 不同國家及地區(qū)電影在前25排名中的占比
data=data1
data.mark = data.mark/25
data = data.groupby(['area','year']).mark.sum().unstack()
data.fillna(0,inplace = True)
data
image.png
# 2.1 分析十年間 每年票房冠軍的票房走勢,并找出十年票房總冠軍
data=data1
df_empty = pd.DataFrame()
i=0
while i<len(data.index):
    df_empty=df_empty.append(data.loc[data.index == i],ignore_index=True)
    i=i+25
#按總票數(shù)排序
df_empty=df_empty.loc[np.argsort(df_empty.zpf,axis=1)]
df_empty
image.png
# 2.2 分析十年間 不同類型的票房分冠軍---失敗待解決
data=data1
data=data.groupby('type').agg({'zpf':['max']}).reset_index()
data
# 2.3 分析十年間 同一類型電影平均票房走勢籽孙,分別找出上升烈评、下降最厲害的兩種類型
data=data1
data = data.groupby(['type','year']).zpf.mean().unstack()
data.fillna(0,inplace = True) 
#設(shè)置識別中文
plt.rcParams['font.sans-serif']=['SimHei']
plt.rcParams['axes.unicode_minus']=False
#設(shè)置畫布大小
plt.figure(figsize=(12,6))
plt.title('同一類型電影平均票房走勢',fontsize=20)
plt.xlabel('年份')
plt.ylabel('平均票房(萬)')
plt.plot(data.T)
data.T.plot()
#data
# 2.4 分析十年間 同一地區(qū)在前25排名中占比的變化趨勢,分別找出占比上升犯建、下降最厲害的兩個地區(qū)
data=data1
#mark設(shè)置為1/25讲冠,方便后邊算比例
data.mark=0.04
data = data.groupby(['area','year']).mark.sum().unstack()
data.fillna(0,inplace = True)
#設(shè)置畫布大小
plt.figure(figsize=(12,6))
plt.title('同一地區(qū)在前25排名中占比的變化趨勢',fontsize=20)
plt.xlabel('年份')
plt.ylabel('占比')
plt.plot(data.T)
data.T.plot()
#data
# 2.5 分析十年間 探究是否有一種或多種類型的電影在十年間票房震蕩非常厲害
data=data1
data = data.groupby(['type','year']).zpf.sum().unstack()
data.fillna(0,inplace = True) 
#設(shè)置畫布大小
plt.figure(figsize=(12,6))
plt.title('電影類型在十年間總票房變化',fontsize=20)
plt.xlabel('年份')
plt.ylabel('總票房(萬)')
plt.plot(data.T)
data.T.plot()
#data
#3.分析總票房和平均票價之間的關(guān)系
data=data1
#設(shè)置畫布大小
plt.figure(figsize=(12,6))
plt.title('總票房和平均票價的關(guān)系',fontsize=20)
plt.xlabel('平均票價')
plt.ylabel('總票房(萬)')
plt.scatter(data.price,data.zpf,c='r')
#data
image.png
#3.分析總票房和場均人次的關(guān)系
data=data1
#設(shè)置畫布大小
plt.figure(figsize=(12,6))
plt.title('總票房和場均人次的關(guān)系',fontsize=20)
plt.xlabel('場均人次')
plt.ylabel('總票房(萬)')
plt.scatter(data.mantimes,data.zpf,c='g')
image.png
#3.分析總票房和排片場數(shù)之間的關(guān)系
data=data1
#設(shè)置畫布大小
plt.figure(figsize=(12,6))
plt.title('總票房和排片場數(shù)的關(guān)系',fontsize=20)
plt.xlabel('排片場數(shù)(萬)')
plt.ylabel('總票房(萬)')
plt.scatter(data.zpf,(data.zpf/data.price/data.mantimes),c='b')
image.png
#4.將十年間共250部電影名稱作成詞云烘托主題-----待解決
from PIL import Image,ImageSequence
import numpy as np
import matplotlib.pyplot as plt
from wordcloud import WordCloud,ImageColorGenerator
image= Image.open('./tim.jpg')
graph = np.array(image)
wc = WordCloud(font_path='./fonts/simhei.ttf',background_color='White',max_words=50,mask=graph)
wc.generate_from_frequencies(keywords)
image_color = ImageColorGenerator(graph)
plt.imshow(wc)
plt.imshow(wc.recolor(color_func=image_color))
plt.axis("off")
plt.show()
wc.to_file('dream.png')

有問題的地方后期會更新一下,總的來說适瓦,這是五個月前竿开,第一次寫python爬蟲,然后做數(shù)據(jù)分析
請大家多多提些寶貴意見玻熙!

感謝閱讀~

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末否彩,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子嗦随,更是在濱河造成了極大的恐慌列荔,老刑警劉巖,帶你破解...
    沈念sama閱讀 222,946評論 6 518
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件枚尼,死亡現(xiàn)場離奇詭異贴浙,居然都是意外死亡,警方通過查閱死者的電腦和手機署恍,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,336評論 3 399
  • 文/潘曉璐 我一進店門崎溃,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人盯质,你說我怎么就攤上這事袁串「哦” “怎么了?”我有些...
    開封第一講書人閱讀 169,716評論 0 364
  • 文/不壞的土叔 我叫張陵囱修,是天一觀的道長到腥。 經(jīng)常有香客問我,道長蔚袍,這世上最難降的妖魔是什么乡范? 我笑而不...
    開封第一講書人閱讀 60,222評論 1 300
  • 正文 為了忘掉前任,我火速辦了婚禮啤咽,結(jié)果婚禮上晋辆,老公的妹妹穿的比我還像新娘。我一直安慰自己宇整,他們只是感情好瓶佳,可當我...
    茶點故事閱讀 69,223評論 6 398
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著鳞青,像睡著了一般霸饲。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上臂拓,一...
    開封第一講書人閱讀 52,807評論 1 314
  • 那天厚脉,我揣著相機與錄音,去河邊找鬼胶惰。 笑死傻工,一個胖子當著我的面吹牛,可吹牛的內(nèi)容都是我干的孵滞。 我是一名探鬼主播中捆,決...
    沈念sama閱讀 41,235評論 3 424
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼坊饶!你這毒婦竟也來了泄伪?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 40,189評論 0 277
  • 序言:老撾萬榮一對情侶失蹤匿级,失蹤者是張志新(化名)和其女友劉穎蟋滴,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體根蟹,經(jīng)...
    沈念sama閱讀 46,712評論 1 320
  • 正文 獨居荒郊野嶺守林人離奇死亡脓杉,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,775評論 3 343
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了简逮。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 40,926評論 1 353
  • 序言:一個原本活蹦亂跳的男人離奇死亡尿赚,死狀恐怖散庶,靈堂內(nèi)的尸體忽然破棺而出蕉堰,到底是詐尸還是另有隱情,我是刑警寧澤悲龟,帶...
    沈念sama閱讀 36,580評論 5 351
  • 正文 年R本政府宣布屋讶,位于F島的核電站,受9級特大地震影響须教,放射性物質(zhì)發(fā)生泄漏皿渗。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 42,259評論 3 336
  • 文/蒙蒙 一轻腺、第九天 我趴在偏房一處隱蔽的房頂上張望乐疆。 院中可真熱鬧,春花似錦贬养、人聲如沸挤土。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,750評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽仰美。三九已至,卻和暖如春儿礼,著一層夾襖步出監(jiān)牢的瞬間咖杂,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,867評論 1 274
  • 我被黑心中介騙來泰國打工蚊夫, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留翰苫,地道東北人。 一個月前我還...
    沈念sama閱讀 49,368評論 3 379
  • 正文 我出身青樓这橙,卻偏偏與公主長得像奏窑,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子屈扎,可洞房花燭夜當晚...
    茶點故事閱讀 45,930評論 2 361

推薦閱讀更多精彩內(nèi)容

  • 現(xiàn)在是一個顏值時代鹰晨,無論是看人還是看物墨叛,大家好像都喜歡好看的。從稱呼上都可以很明顯的感覺到模蜡,無論你看到一個多么普通...
    囚籠的鳥閱讀 448評論 1 1
  • 沒有言語的開始 沒有言語的結(jié)束 沒有緣由的熟悉 回憶 一點一滴 你有沒有承諾 喜愛是永恒的存在 那時 我認真了 也...
    蟬翼呵呵閱讀 268評論 0 2
  • 我來到三門峽忍疾, 看到大壩闯传, 看到沙, 卻看不到家卤妒; 我來到黃河邊甥绿, 看到對岸字币, 看到山, 卻看不到帆共缕; 我掬一捧黃...
    踅摸人閱讀 229評論 0 2