一、項(xiàng)目概述
1念祭、成果預(yù)覽
最近回顧了Adventure項(xiàng)目，在此記錄碍侦、總結(jié)分析實(shí)現(xiàn)過(guò)程粱坤。該項(xiàng)目主要任務(wù)是利用python的pandas、numpy包從MySQL數(shù)據(jù)庫(kù)中讀取原始數(shù)據(jù)進(jìn)行加工瓷产、聚合站玄、分析，再利用Power BI進(jìn)行dashboard的搭建拦英。再以聚合后的數(shù)據(jù)為基礎(chǔ)制作PPT蜒什，匯報(bào)分析結(jié)果，為業(yè)務(wù)團(tuán)隊(duì)自主分析提供數(shù)據(jù)支持疤估，改進(jìn)工作灾常。
dashboard預(yù)覽：Dashboard看板鏈接
2、背景介紹
1）公司背景
Adventure Works Cycle是國(guó)內(nèi)一家生產(chǎn)和銷(xiāo)售自行車(chē)及和相關(guān)配件的制造公司铃拇。利用每日商品銷(xiāo)售及相關(guān)客戶(hù)信息數(shù)據(jù)钞瀑，獲取商品銷(xiāo)售趨勢(shì)、地域分布情況以及簡(jiǎn)單用戶(hù)畫(huà)像慷荔，進(jìn)行可視化展示雕什，為運(yùn)營(yíng)人員提供自主分析工具。
2）產(chǎn)品介紹
公司主營(yíng)業(yè)務(wù)有自行車(chē)（主要產(chǎn)品）显晶，服裝贷岸，配件
- 自行車(chē)：包括公路自行車(chē)、山地自行車(chē)磷雇、旅游自行車(chē)三大類(lèi)
- 服裝：包括帽子偿警、手套、襪子唯笙、背心螟蒸、運(yùn)動(dòng)衫等
- 配件：包括頭盔、擋泥板崩掘、車(chē)架七嫌、清潔工、瓶子和籠子苞慢、車(chē)胎等
這里主要分析的是自行車(chē)業(yè)務(wù)诵原。
3、數(shù)據(jù)來(lái)源
1）ods_sales_orders 訂單明細(xì)表
二、python處理數(shù)據(jù)
1皮假、生成dw_order_by_day表
導(dǎo)入相關(guān)模塊鞋拟，連接數(shù)據(jù)庫(kù)
step 1：讀取ods_sales_orders(訂單明細(xì)表)，生成sum_amount_order(銷(xiāo)量訂單聚合表)惹资，求總銷(xiāo)售金額/客單價(jià)
2猴誊、生成dw_amount_diff表
step1：讀取dw_order_by_day表
3懈叹、生成dw_customer_order表
step1：讀取最新日期的ods_sales_orders（訂單明細(xì)表)
三、搭建Dashboard
1分扎、可視化看板布置
1）可視化工具：此處使用的可視化圖表有切片器澄成、卡片圖、KPI圖畏吓、環(huán)形圖墨状、子彈圖、表格菲饼、地圖等肾砂；
2）篩選器：用于區(qū)域、日期等字段信息的篩選宏悦；
3）書(shū)簽：將按鈕操作與書(shū)簽相結(jié)合镐确，完成不同頁(yè)面的導(dǎo)航、跳轉(zhuǎn)功能
2饼煞、報(bào)表展示
1）主頁(yè)
- 展示今日銷(xiāo)售金額及目標(biāo)完成情況源葫、訂單量、客單價(jià)以及同比情況砖瞧；
- 表格列明詳細(xì)銷(xiāo)售情況
- 環(huán)形圖展示各個(gè)種類(lèi)產(chǎn)品銷(xiāo)售占比情況- 利用地區(qū)和城市切片可以動(dòng)態(tài)展現(xiàn)不同城市的銷(xiāo)售情況
-
地圖和氣泡圖結(jié)合展示各個(gè)城市銷(xiāo)售情況
2）趨勢(shì)詳情頁(yè)
- 通過(guò)切片器篩選最近一段時(shí)間的銷(xiāo)售變化趨勢(shì)
- 動(dòng)態(tài)展示最近15天銷(xiāo)售訂單量完成情況
- 動(dòng)態(tài)展示最近15天銷(xiāo)售金額以及目標(biāo)完成情況
-
動(dòng)態(tài)展示最近15天客單價(jià)變化趨勢(shì)
3）城市詳情頁(yè)
-
切片篩選區(qū)域和城市息堂，動(dòng)態(tài)展示不同地區(qū)銷(xiāo)售情況
四、報(bào)告輸出
1芭届、指標(biāo)搭建
1）目的
- 優(yōu)化銷(xiāo)售策略，調(diào)整產(chǎn)品結(jié)構(gòu)感耙，才能保持高速增長(zhǎng)褂乍，獲取更多的收益，占領(lǐng)更多市場(chǎng)份額
- 根據(jù)需求分析2019年11月自行車(chē)銷(xiāo)售情況即硼，為精細(xì)化運(yùn)營(yíng)提供數(shù)據(jù)支持
2）數(shù)據(jù)來(lái)源
dw_customer_order 產(chǎn)品銷(xiāo)售信息表
ods_customer 每天新增客戶(hù)信息表
dim_date_df 日期表
ods_sales_orders 訂單明細(xì)表
3）分析思路
從整體的角度：分析2019.1—2019.11自行車(chē)整體銷(xiāo)售表現(xiàn)
從地域的角度：分析11月每個(gè)區(qū)域銷(xiāo)售量表現(xiàn)逃片、11月TOP10城市銷(xiāo)售量表現(xiàn)
從產(chǎn)品的角度：分析11月類(lèi)別產(chǎn)品銷(xiāo)售量表現(xiàn)、11月細(xì)分產(chǎn)品銷(xiāo)售量表現(xiàn)
從用戶(hù)的角度：分析11月用戶(hù)年齡分布及每個(gè)年齡段產(chǎn)品購(gòu)買(mǎi)喜好、11月男女用戶(hù)分布情況
熱銷(xiāo)產(chǎn)品：分析11月TOP10產(chǎn)品銷(xiāo)量榜褥实、11月TOP10銷(xiāo)量增速榜
2呀狼、python加工數(shù)據(jù)
1）整體銷(xiāo)售表現(xiàn)
讀取數(shù)據(jù)
觀察字段屬性信息
增加月份字段以便于進(jìn)一步分析
篩選自行車(chē)數(shù)據(jù)
用groupby進(jìn)行分組，求出每月訂單量和銷(xiāo)售金額總和损离，并進(jìn)行排序
求每月訂單量環(huán)比
轉(zhuǎn)為dataframe形式
同樣求出每月銷(xiāo)售金額環(huán)比哥艇，并轉(zhuǎn)為dataframe，同時(shí)對(duì)兩個(gè)環(huán)比字段進(jìn)行重命名
存入數(shù)據(jù)庫(kù)
2）地域銷(xiāo)售表現(xiàn)
篩選10月僻澎、11月數(shù)據(jù)后進(jìn)行分組求和
求出不同區(qū)域銷(xiāo)售環(huán)比情況
存入數(shù)據(jù)庫(kù)
按城市分組并篩選銷(xiāo)量前十的城市
篩選10月貌踏、11月數(shù)據(jù)并計(jì)算月銷(xiāo)售金額
計(jì)算環(huán)比
存入數(shù)據(jù)庫(kù)
3）產(chǎn)品銷(xiāo)售表現(xiàn)
求出月銷(xiāo)量并合并表格
計(jì)算細(xì)類(lèi)產(chǎn)品銷(xiāo)售占比情況并重命名
求出山地自行車(chē)具體型號(hào)銷(xiāo)售數(shù)量以及種類(lèi)月銷(xiāo)量，并進(jìn)行合并
同樣方法對(duì)公路自行車(chē)和旅游自行車(chē)進(jìn)行處理 計(jì)算銷(xiāo)量環(huán)比
計(jì)算累計(jì)銷(xiāo)量
合并表格并存儲(chǔ)
4）用戶(hù)行為分析
讀取信息
用戶(hù)年齡
合并表格窟勃，截取年份信息
計(jì)算用戶(hù)年齡并進(jìn)行分層
計(jì)算年齡比率祖乳，以便統(tǒng)計(jì)各年齡段占比情況
用戶(hù)性別
觀察性別分布情況并進(jìn)行字段關(guān)聯(lián)
5）熱點(diǎn)產(chǎn)品分析
11月產(chǎn)品銷(xiāo)量TOP10產(chǎn)品，銷(xiāo)售數(shù)量及環(huán)比
計(jì)算產(chǎn)品銷(xiāo)量并排序
切片秉氧、篩選信息眷昆，找出本月銷(xiāo)量top10產(chǎn)品
11月增速TOP10產(chǎn)品，銷(xiāo)售數(shù)量及環(huán)比
切片汁咏、篩選信息
合并表格
存儲(chǔ)數(shù)據(jù)
3亚斋、PPT制作
通過(guò)上述加工，將存入MySQL數(shù)據(jù)庫(kù)的數(shù)據(jù)接入Power BI梆暖，繪制圖像伞访，從而完成自行車(chē)業(yè)務(wù)分析報(bào)告
五、嘗試使用Hive和SQL完成ETL過(guò)程
1轰驳、使用sqoop導(dǎo)數(shù)到hive數(shù)據(jù)庫(kù)生成 ods 層數(shù)據(jù)
以生成dim_date_df表為例
ods_sales_orders表厚掷、ods_customer表亦同樣處理
2、使用hive庫(kù)進(jìn)行數(shù)據(jù)匯總加工生成dw層數(shù)據(jù)
以ods.dw_order_day為例進(jìn)行數(shù)據(jù)加工
3级解、sqoop導(dǎo)出分析結(jié)果到mysql
以導(dǎo)出dim_date_df表為例
