學妹期末大作業(yè)
基于Python的十年（2009年~2018年）電影票房前25位分析
根據(jù)URL“http://www.cbooo.cn” 通過代碼爬取2009-2018每年票房排名前25的影片名稱幽崩、類型苦始、總票房（萬）寞钥、平均票價慌申、場均人次及國家及地區(qū)的信息，并按照以下要求完成分析理郑。
1． 按年統(tǒng)計
1） 不同類型電影的平均票房
2） 不同國家及地區(qū)電影在前25排名中的占比
2． 分析十年間
1） 每年票房冠軍的票房走勢蹄溉，并找出十年票房總冠軍
2） 不同類型的票房分冠軍
3） 同一類型電影平均票房走勢，分別找出上升您炉、下降最厲害的兩種類型
4） 同一地區(qū)在前25排名中占比的變化趨勢柒爵，分別找出占比上升、下降最厲害的兩個地區(qū)
5） 探究是否有一種或多種類型的電影在十年間票房震蕩非常厲害
3． 分析總票房和平均票價赚爵、場均人次棉胀、排片場數(shù)之間的關(guān)系法瑟。
4．撰寫word文檔完成本分析題，所有的結(jié)論和分析都需要配圖或表加以支撐唁奢。并將十年間共250部電影名稱作成詞云烘托主題霎挟。
大作業(yè)分析
1.環(huán)境，建議使用anaconda3（環(huán)境集成麻掸，不用再去安裝依賴包酥夭，之類的）
官網(wǎng)地址：https://www.anaconda.com/download/
2.分為爬取數(shù)據(jù)和分析兩個部分
下面直接上代碼
爬蟲部分，爬取數(shù)據(jù)并存放到data.csv中
#!/usr/bin/python
# -*- coding: utf-8 -*-
import requests
import time
import re
import csv
from bs4 import BeautifulSoup
#設(shè)置URL固定部分
url='http://www.cbooo.cn/year?year='
#設(shè)置請求頭部信息
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
}
#循環(huán)抓取列表頁信息
for year in range(2009,2019):
if year == 2009:
year=str(year)
a=(url+year)
r=requests.get(url=a,headers=headers)
html=r.content
else:
year=str(year)
a=(url+year)
r=requests.get(url=a,headers=headers)
html2=r.content
html = html + html2
#每次間隔0.5秒
time.sleep(0.5)
lj=BeautifulSoup(html,'html.parser')
#print(lj)
#提取名稱脊奋、類型熬北、總票房（萬）、平均票價诚隙、場均人次及國家及地區(qū)
result=lj.find_all('td')
#print(result)
#print(len(result))
mname=[]
title=""
index=1
year=2009
for i in result:
i=str(i)
title=re.findall(r'</span>(.*?)</p>',i,re.I|re.M)
if len(title)>0:
mname.append(index)
index=index+1
mname.append(title[0])
else:
info=re.findall(r'<td>(.*?)</td>',i,re.I|re.M)
mname.append(info[0])
#print(len(mname))
#print(mname)
k=0
data=[]
while k<2000:
year=2009
year=year+(k//200)
data.append([mname[k],mname[k+1],mname[k+2],mname[k+3],mname[k+4],mname[k+5],mname[k+6],mname[k+7],year,1])
k=k+8
#print(data)
print(len(data))#一共250條數(shù)據(jù)
#將結(jié)果存到CSV文件
with open('./data.csv','w') as fout:
cin= csv.writer(fout,lineterminator='\n')
#寫入row_1 cin.writerow(["index","name","type","zpf","mantimes","price","area","datatime","year","mark"])
for item in data:
cin.writerow(item)
結(jié)果讶隐，生成一個data.csv文件，我們打開看一下
image.png
一共250行數(shù)據(jù)久又，也就是近10年的電影
接下來整份，我們進行分析部分的代碼
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline
data1 = pd.read_csv('./data.csv',encoding='gbk')
#data
# 1.1 按年統(tǒng)計 不同類型電影的平均票房
data=data1
data = data.groupby(['type','year']).zpf.mean().unstack()
#沒有的補0
data.fillna(0,inplace = True)
data
image.png
# 1.2 按年統(tǒng)計 不同國家及地區(qū)電影在前25排名中的占比
data=data1
data.mark = data.mark/25
data = data.groupby(['area','year']).mark.sum().unstack()
data.fillna(0,inplace = True)
data
image.png
# 2.1 分析十年間 每年票房冠軍的票房走勢，并找出十年票房總冠軍
data=data1
df_empty = pd.DataFrame()
i=0
while i<len(data.index):
df_empty=df_empty.append(data.loc[data.index == i],ignore_index=True)
i=i+25
#按總票數(shù)排序
df_empty=df_empty.loc[np.argsort(df_empty.zpf,axis=1)]
df_empty
image.png
# 2.2 分析十年間 不同類型的票房分冠軍---失敗待解決
data=data1
data=data.groupby('type').agg({'zpf':['max']}).reset_index()
data
# 2.3 分析十年間 同一類型電影平均票房走勢籽孙，分別找出上升烈评、下降最厲害的兩種類型
data=data1
data = data.groupby(['type','year']).zpf.mean().unstack()
data.fillna(0,inplace = True)
#設(shè)置識別中文
plt.rcParams['font.sans-serif']=['SimHei']
plt.rcParams['axes.unicode_minus']=False
#設(shè)置畫布大小
plt.figure(figsize=(12,6))
plt.title('同一類型電影平均票房走勢',fontsize=20)
plt.xlabel('年份')
plt.ylabel('平均票房(萬)')
plt.plot(data.T)
data.T.plot()
#data
# 2.4 分析十年間 同一地區(qū)在前25排名中占比的變化趨勢，分別找出占比上升犯建、下降最厲害的兩個地區(qū)
data=data1
#mark設(shè)置為1/25讲冠，方便后邊算比例
data.mark=0.04
data = data.groupby(['area','year']).mark.sum().unstack()
data.fillna(0,inplace = True)
#設(shè)置畫布大小
plt.figure(figsize=(12,6))
plt.title('同一地區(qū)在前25排名中占比的變化趨勢',fontsize=20)
plt.xlabel('年份')
plt.ylabel('占比')
plt.plot(data.T)
data.T.plot()
#data
# 2.5 分析十年間 探究是否有一種或多種類型的電影在十年間票房震蕩非常厲害
data=data1
data = data.groupby(['type','year']).zpf.sum().unstack()
data.fillna(0,inplace = True)
#設(shè)置畫布大小
plt.figure(figsize=(12,6))
plt.title('電影類型在十年間總票房變化',fontsize=20)
plt.xlabel('年份')
plt.ylabel('總票房（萬）')
plt.plot(data.T)
data.T.plot()
#data
#3．分析總票房和平均票價之間的關(guān)系
data=data1
#設(shè)置畫布大小
plt.figure(figsize=(12,6))
plt.title('總票房和平均票價的關(guān)系',fontsize=20)
plt.xlabel('平均票價')
plt.ylabel('總票房（萬）')
plt.scatter(data.price,data.zpf,c='r')
#data
image.png
#3．分析總票房和場均人次的關(guān)系
data=data1
#設(shè)置畫布大小
plt.figure(figsize=(12,6))
plt.title('總票房和場均人次的關(guān)系',fontsize=20)
plt.xlabel('場均人次')
plt.ylabel('總票房（萬）')
plt.scatter(data.mantimes,data.zpf,c='g')
image.png
#3．分析總票房和排片場數(shù)之間的關(guān)系
data=data1
#設(shè)置畫布大小
plt.figure(figsize=(12,6))
plt.title('總票房和排片場數(shù)的關(guān)系',fontsize=20)
plt.xlabel('排片場數(shù)（萬）')
plt.ylabel('總票房(萬)')
plt.scatter(data.zpf,(data.zpf/data.price/data.mantimes),c='b')
image.png
#4．將十年間共250部電影名稱作成詞云烘托主題-----待解決
from PIL import Image,ImageSequence
import numpy as np
import matplotlib.pyplot as plt
from wordcloud import WordCloud,ImageColorGenerator
image= Image.open('./tim.jpg')
graph = np.array(image)
wc = WordCloud(font_path='./fonts/simhei.ttf',background_color='White',max_words=50,mask=graph)
wc.generate_from_frequencies(keywords)
image_color = ImageColorGenerator(graph)
plt.imshow(wc)
plt.imshow(wc.recolor(color_func=image_color))
plt.axis("off")
plt.show()
wc.to_file('dream.png')
有問題的地方后期會更新一下，總的來說适瓦，這是五個月前竿开，第一次寫python爬蟲，然后做數(shù)據(jù)分析
請大家多多提些寶貴意見玻熙！
感謝閱讀~
