一翰绊、數(shù)據(jù)分析的定義:
數(shù)據(jù)分析的目就是把隱藏在一大批看似雜亂無章的數(shù)據(jù)背后的信息集中和提煉出來佩谷,總結(jié)出所研究對象的內(nèi)在規(guī)律旁壮。
二、數(shù)據(jù)分析過程:
第一步谐檀、以事實為基礎提出假設抡谐,界定問題
第二步、將問題細分桐猬,形成互不重疊的子問題
第三步麦撵、進行數(shù)據(jù)收集與分析,證實或者證偽假設的問題
第四步溃肪、提出方案厦坛,推進問題的解決
第五步、執(zhí)行方案乍惊,驗證數(shù)據(jù)分析。
三放仗、數(shù)據(jù)的種類:
統(tǒng)計學上把數(shù)據(jù)分為三類润绎,分類數(shù)據(jù),順序數(shù)據(jù)诞挨,數(shù)值數(shù)據(jù)
分類型數(shù)據(jù):主要是對事物的類別進行描述莉撇,比如電商網(wǎng)站中的品類,社交系統(tǒng)中用戶的等級
順序型數(shù)據(jù):顧名思義惶傻,就是按照順序排列的數(shù)據(jù)棍郎,這種數(shù)據(jù)也是文字的,如時間順序银室,空間順序涂佃,優(yōu)先等級
數(shù)值型數(shù)據(jù):最常見的數(shù)據(jù)類型,用數(shù)字或文字描述事物蜈敢,是 數(shù)據(jù)分析的主要來源
四辜荠、數(shù)據(jù)分析的種類有三種:
1,描述性數(shù)據(jù)分析:常用對比分析法抓狭,平均分析法伯病,交叉分析法。
算數(shù)平均數(shù):算數(shù)平均法和加權(quán)算術(shù)平均法簡單方便否过,容易受異常值影響午笛。
幾何平均數(shù):主要用于 對比率,指數(shù)進行平均苗桂,用來計算平均發(fā)展速度药磺,用來計算復利下的平均年利率,在變量可能為負數(shù)和零的時候誉察,不能使用与涡,當數(shù)據(jù)呈倍數(shù)關(guān)系或者不對稱分布時適用性強。
調(diào)和平均數(shù):也叫倒數(shù)平均數(shù),主要是用來解決無法掌握總體單位數(shù)的情況下驼卖,只有每組的變量值和相應的標志總量氨肌,而需要得到平均數(shù)的問題,通常在遇到需要計算平均速度酌畜,平均利潤怎囚,平均成本指標時使用,尤其是觀測值是階段性變異的資料桥胞。
2恳守,探索性數(shù)據(jù)分析:相關(guān)分析法,因子分析法贩虾,回歸分析法
3催烘,驗證性數(shù)據(jù)分析:同上
五、數(shù)據(jù)分析的作用
主要三作用:現(xiàn)狀分析缎罢,原因分析伊群,預測分析
六、數(shù)據(jù)分析操作過程:
1.明確目標:搜集和明確數(shù)據(jù)分析上下游需求策精,資源舰始,能力和表達形式,時間節(jié)點等咽袜。
2.數(shù)據(jù)獲韧杈怼:從數(shù)據(jù)庫,公開出版物询刹,互聯(lián)網(wǎng)谜嫉,市場調(diào)查等方面搜集數(shù)據(jù)。
3.數(shù)據(jù)清洗:數(shù)據(jù)清洗范抓,數(shù)據(jù)轉(zhuǎn)化骄恶,數(shù)據(jù)提取,數(shù)據(jù)計算匕垫,具體包括數(shù)據(jù)整理入庫僧鲁,去除無效? 數(shù)據(jù),填充缺失信息象泵,選擇變量
? 第一階段:預處理寞秃,數(shù)據(jù)導入,元數(shù)據(jù)分析偶惠,觀察數(shù)據(jù)春寿,一般來說100萬條以下用excel,單機大量? 100萬條以上MYSQL+Navicat忽孽,單機海量1000萬條以上绑改,文本文件+python
? 第二階段:去除補齊有缺失的數(shù)據(jù)
? 第三階段:去除修改格式和內(nèi)容錯誤的數(shù)據(jù)
? 第四階段:去除不需要的數(shù)據(jù)
? 第五階段:去除不需要的數(shù)據(jù)
? 第六階段:關(guān)聯(lián)性驗證
4.數(shù)據(jù)整理:數(shù)據(jù)離散化谢床,數(shù)據(jù)標準化,對數(shù)據(jù)進行重新編碼厘线,對數(shù)據(jù)表進行統(tǒng)計計算识腿,生成各級指標,主要的目的是將清洗后的數(shù)據(jù)進行統(tǒng)一格式造壮,集中存儲渡讼。
5.數(shù)據(jù)分析:數(shù)據(jù)分析是將處理后的數(shù)據(jù)進行建模分析,描述分析耳璧,模型測試成箫,價值提取,高層次的分析方法也叫數(shù)據(jù)挖掘旨枯,數(shù)據(jù)挖掘側(cè)重解決四類問題蹬昌,分類,聚類攀隔,關(guān)聯(lián)凳厢,預測
6.數(shù)據(jù)展現(xiàn):餅圖,柱狀圖竞慢,條形圖,折線圖治泥,雷達圖等等
7.報告撰寫:將模型加載筹煮,對數(shù)據(jù)分析過程總結(jié)和呈現(xiàn)‘
七、數(shù)據(jù)分析報告邏輯
結(jié)論先行居夹,數(shù)據(jù)跟上败潦,邏輯自恰,描述觀點准脂,一般以總分總模式為主劫扒;
八、數(shù)據(jù)分析模型:
事實上是使用常見的企業(yè)分析方法論狸膏,設計數(shù)據(jù)分析的維度和范圍沟饥,常用的方法包括
1、思考模型
5W+2H:為什么湾戳,什么目的贤旷,誰,那個領域砾脑,什么時候幼驶,怎么做
金字塔模型
魚骨圖模型
事實--解釋--行為
水平思考,事實韧衣,感情盅藻,批判购桑,樂觀,創(chuàng)造氏淑,宏觀
2勃蜘、戰(zhàn)略分析工具
戰(zhàn)略-3C 公司,對手夸政,顧客
戰(zhàn)略規(guī)劃元旬,橫軸表示競爭要素,縱軸表示競爭水平
對業(yè)務進行優(yōu)先排序守问,縱軸表示公司優(yōu)勢匀归,橫軸表示市場價值
SWOT矩陣,優(yōu)勢耗帕,弱點穆端,機會,危機
影響要素仿便,五個力分析体啰,供應鏈的變化,需求鏈變化嗽仪,技術(shù)沖擊荒勇,新進入者,有無替代者
組織7S闻坚,保持戰(zhàn)略沽翔,共同價值,結(jié)構(gòu)窿凤,體制仅偎,員工,技能雳殊,組織文化
3.市場營銷分析模型
市場4P,產(chǎn)品橘沥,價格,渠道夯秃,廣告
銷售漏斗模型
根據(jù)收入分類的家庭數(shù)量的相對度分布座咆,
人口分布曲線,
意愿能力矩陣
用戶發(fā)布仓洼,技術(shù)革新者箫措,有號召力的人,早期用戶衬潦,后期跟風斤蔓,滯后采用的
服務營銷三角形,服務營銷的滲透的過程中镀岛,最初關(guān)注功能弦牡,然后轉(zhuǎn)移到渠道友驮,最后由品牌影響力
PPM分析,縱軸表示成長率驾锰,市場占有率卸留,分為,兒童業(yè)務椭豫,明星業(yè)務耻瑟,瘦狗業(yè)務,現(xiàn)金牛
VRIO分析赏酥,價值喳整,稀缺性,跟進難度裸扶,組織能力
4.常見管理模型
六西格瑪
PDCA循環(huán)框都,計劃,實施呵晨,改善魏保,驗證,
價值鏈摸屠,橫軸表示研究获询,開發(fā)您访,采購些阅,生產(chǎn)塘慕,流通,銷售戒傻,售后,縱軸表示競爭對手
緊迫性和重要性的矩陣蜂筹,重要性和緊迫性
九需纳、數(shù)據(jù)挖掘模型
聚類:kmeans、系統(tǒng)層次聚類
分類:相似度計算艺挪、決策樹
回歸:邏輯回歸不翩,線性回歸
降維:主成分分析、因子分析麻裳,對應分析/mds
文本挖掘:Word2vec口蝠、DOC2ver/LDA、文本相似度計算
時間序列等等