可視化鏈接https://public.tableau.com/profile/.5458#!/vizhome/1_2734/Q2
從The movie DB上獲得一份電影數(shù)據(jù)進(jìn)行可視化
提出問題：
- 1：電影類型是如何隨著時間的推移發(fā)生變化的恭朗？
- 2：Universal Pictures 和 Paramount Pictures 之間的對比情況如何屏镊？
- 3：改編電影和原創(chuàng)電影的對比情況如何？
- 4: 發(fā)行年份跟收益的關(guān)系
數(shù)據(jù)各字段的意思
- id：標(biāo)識號
? imdb_id：IMDB 標(biāo)識號
? popularity：在 Movie Database 上的相對頁面查看次數(shù)
? budget：預(yù)算（美元）
? revenue：收入（美元）
? original_title：電影名稱
? cast：演員列表痰腮，按 | 分隔而芥，最多 5 名演員
? homepage：電影首頁的 URL
? director：導(dǎo)演列表，按 | 分隔膀值，最多 5 名導(dǎo)演
? tagline：電影的標(biāo)語
? keywords：與電影相關(guān)的關(guān)鍵字棍丐，按 | 分隔，最多 5 個關(guān)鍵字
? overview：劇情摘要
? runtime：電影時長
? genres：風(fēng)格列表沧踏，按 | 分隔骄酗，最多 5 種風(fēng)格
? production_companies：制作公司列表，按 | 分隔悦冀，最多 5 家公司
? release_date：首次上映日期
? vote_count：投票數(shù)
? vote_average：平均投票數(shù)
? release_year：發(fā)行年份
? budget_adj：根據(jù)通貨膨脹調(diào)整的預(yù)算（2010 年趋翻，美元）
? revenue_adj：根據(jù)通貨膨脹調(diào)整的收入（2010 年，美元）
導(dǎo)入模塊
import pandas as pd
import numpy as np
加載數(shù)據(jù)
df=pd.read_csv('/Users/zhongyaode/Desktop/movies.csv')
#查看數(shù)據(jù)基本統(tǒng)計(jì)數(shù)據(jù)
df.describe()
#查看字段的數(shù)據(jù)類型及行數(shù)
df.info()
#顯示前五行數(shù)據(jù)
df.head()
#選取需要的字段
dd=df[['id','budget','revenue','genres','production_companies','vote_count','release_year','keywords','original_title']]
dd.info()
處理缺失值
#刪除有缺失值的行
dd.dropna(axis=0).info()
#分列字段 genres字段
split_genres=df['genres'].str.split('|',expand=True)
split_genres['id']=df['id']#把df的id字段賦值給split_genres
merged_back=dd.merge(split_genres)#根據(jù)字段id進(jìn)行連接
#merge相當(dāng)于mysqle的join 進(jìn)行表連接
melt的官方文檔https://pandas.pydata.org/pandas-docs/stable/generated/pandas.melt.html
melted=pd.melt(
merged_back,id_vars=['id','release_year'],
value_vars=[0,1,2,3,4],value_name='genres').drop('variable',axis=1).dropna()
melted.head()
#輸出melted
melted.to_csv('id_year_genres.csv',index=False)
處理production_companies字段
#拆分
dd_production=dd['production_companies'].str.split('|',expand=True)
dd_production['id']=dd['id']
merge_backed=dd_production.merge(dd)
#用melt函數(shù)
melted_production=pd.melt(merge_backed,id_vars=['id','budget','revenue','release_year'],
value_vars=[0,1,2,3,4],value_name='production_companies'
).drop('variable',axis=1).dropna()
#篩選數(shù)據(jù)
melted_U_P=melted_production[(melted_production.production_companies=='Universal Pictures')|(melted_production.production_companies=='Paramount Pictures')]
melted_U_P.to_csv('melted_U_P.csv',index
=False)
處理keywords字段
#拆分字段
dd_keywords=dd['keywords'].str.split('|',expand=True)
dd_keywords['id']=dd['id']
dd_merge_keywords=dd.merge(dd_keywords)
#運(yùn)用melt函數(shù)
if_novel=pd.melt(dd_merge_keywords,id_vars=['id','budget','revenue','release_year','original_title','vote_count'],
value_vars=[0,1,2,3,4],value_name='keywords').drop('variable',axis=1).dropna()
#再對keywords進(jìn)行處理,值是based on novel的返回based on novel否則返回Not_novel
def peng(data):
if data=='based on novel':
return 'based on novel'
else:
return 'Not_novel'
if_novel['keywords']=if_novel['keywords'].apply(lambda x: peng(x))
#這里用python處理當(dāng)是練習(xí)了盒蟆，其實(shí)用tablea的創(chuàng)建組方法能非常簡單的處理好
#輸出
if_novel.to_csv('if_novel.csv',index=False)
接下來用非常好玩的tableau探索數(shù)據(jù)
tableau交互可視化的鏈接https://public.tableau.com/profile/.5458#!/vizhome/1_2734/Q1
參考資料 melt的官方文檔https://pandas.pydata.org/pandas-docs/stable/generated/pandas.melt.html
以及tableau的官網(wǎng)教程
來幾張工作儀和story
圖片 1.png
圖片 2.png
圖片 3.png
圖片 4.png
圖片 5.png
6.png
7.png
以下進(jìn)行的是嘗試把四個文件合并到一起的方式·
df_genres=df['genres'].str.split('|',expand=True)
df_genres.info()
df_genres['id']=df['id']
df_genres['production_companies']=df['production_companies']
df_genres['keywords']=df['keywords']
#df.merge(df_genres).info()
df_pro=pd.melt(df_genresed,id_vars=['production_companies','id','keywords'],value_vars=[0,1,2,3,4],
value_name='genres').drop('variable',axis=1).dropna()
df_product=df_pro['production_companies'].str.split('|',expand=True)
df_product['id']=df_pro['id']
df_product['genres']=df_pro['genres']
df_product['keywords']=df_pro['keywords']
df_genres_pro=pd.melt(df_product,id_vars=['id','genres','keywords'],value_vars=[0,1,2,3,4],
value_name='production_companies').drop('variable',axis=1).dropna()
df_k_g_p=df_genres_pro['keywords'].str.split('|',expand=True)
df_k_g_p['id']=df_genres_pro['id']
df_k_g_p['genres']=df_genres_pro['genres']
df_k_g_p['production_companies']=df_genres_pro['production_companies']
ddd=pd.melt(df_k_g_p,id_vars=['id','genres','production_companies'],value_vars=[0,1,2,3,4],
value_name='keywords').drop('variable',axis=1).dropna()
ddd.info()
ddd.head()
movie=df
merged_split
split_companies=movie['keywords'].str.split('|',expand=True)
split_companies['id']=movie['id']
merged_split=movie.merge(split_companies)
key_df=pd.melt(merged_split,id_vars=['id','revenue','budget','release_date','genres','production_companies'],value_vars=[0,1,2,3,4],value_name='keyword').drop('variable',axis=1).dropna()
split_companies=movie['keywords'].str.split('|',expand=True)
split_companies['id']=movie['id']
merged_split=movie.merge(split_companies)
key_df=pd.melt(merged_split,id_vars=['id','revenue','budget','release_date','genres','production_companies'],value_vars=[0,1,2,3,4],value_name='keyword').drop('variable',axis=1).dropna()
split_companies=key_df['production_companies'].str.split('|',expand=True)
split_companies['id']=key_df['id']
# merged_split=key_df.merge(split_companies,on='id',how='left')
merged_split=key_df.merge(split_companies)
pp=pd.melt(merged_split,id_vars=['id','release_date','genres','keyword','revenue','budget'],value_vars=[0,1,2,3,4],value_name='production_company').drop('variable',axis=1).dropna()
movie=df.drop(['imdb_id','popularity','vote_average','original_title','cast','homepage','director','tagline','overview','runtime','vote_count','release_year','budget_adj','revenue_adj'],axis=1)
split_companies=movie['keywords'].str.split('|',expand=True)
split_companies['id']=movie['id']
merged_split=movie.merge(split_companies)
key_df=pd.melt(merged_split,id_vars=['id','revenue','budget','release_date','genres','production_companies'],value_vars=[0,1,2,3,4],value_name='keyword').drop('variable',axis=1).dropna()
split_genres=key_df['genres'].str.split('|',expand=True)
split_genres['id']=key_df['id']
merged_split=key_df.merge(split_genres)
genre=pd.melt(merged_split,id_vars=['id','release_date','production_companies','keyword','revenue','budget'],value_vars=[0,1,2,3,4],value_name='genre').drop('variable',axis=1).dropna()
genred=genre[:10000]
split_companies=genred['production_companies'].str.split('|',expand=True)
split_companies['id']=genred['id']
#merged_split=genre.merge(split_companies)
merg=genred.merge(split_companies,on='id',how='left')
#merged_split[:1]
pp=pd.melt(merg,id_vars=['id','release_date','genre','keyword','revenue','budget'],value_vars=[0,1,2,3,4],value_name='production_company').drop('variable',axis=1).dropna()
pp.info()
movie=df.drop(['imdb_id','popularity','vote_average','original_title','cast','homepage','director','tagline','overview','runtime','vote_count','release_year','budget_adj','revenue_adj'],axis=1)
split_companies=movie['keywords'].str.split('|',expand=True)
split_companies['id']=movie['id']
split_companies
merged_split=movie.merge(split_companies)
key_df=pd.melt(merged_split,id_vars=['id','revenue','budget','release_date','genres','production_companies'],value_vars=[0,1,2,3,4],value_name='keyword').drop('variable',axis=1).dropna()
split_genres=key_df['genres'].str.split('|',expand=True)
split_genres['id']=key_df['id']
merged_split=key_df.merge(split_genres)
genre_dff=pd.melt(merged_split,id_vars=['id','release_date','production_companies','keyword','revenue','budget'],value_vars=[0,1,2,3,4],value_name='genre').drop('variable',axis=1).dropna()
genre_df=genre_dff[:10000]
split_companies=genre_df['production_companies'].str.split('|',expand=True)
split_companies['id']=genre_df['id']
merged_split=genre_df.merge(split_companies,on='id',how='left')
p=pd.melt(merged_split,id_vars=['id','release_date','genre','keyword','revenue','budget'],value_vars=[0,1,2,3,4],value_name='production_company').drop('variable',axis=1).dropna()
