大師兄的數(shù)據(jù)分析學(xué)習(xí)筆記(三十四）：模型評估（三）
一将饺、內(nèi)容回顧
- 上圖包括了數(shù)據(jù)從獲取到使用的全流程放，其中的包括數(shù)據(jù)獲取寄摆、探索分析與可視化屿附、預(yù)處理、分析建模和模型評估五部分葱色。
1.數(shù)據(jù)獲取
- 數(shù)據(jù)倉庫
- 監(jiān)測與抓取
- 用戶填寫
- 日志
- 埋點(diǎn)
- 計算
2. 探索性數(shù)據(jù)分析與可視化
2.1 單因子探索分析
- 異常值分析
- 結(jié)構(gòu)分析
- 對比分析
- 分布分析
2.2 多因子探索分析
- 交叉分析
- 分組分析
- 鉆取分析
- 因子分析
3. 特征預(yù)處理
- 特征使用
- 特征獲取
- 特征處理
- 異常值處理
- 特征選擇
- 特征變換
- 特征降維
- 特征衍生
- 特征監(jiān)控
4. 分析建模
- 分類模型
- 回歸模型
- 聚類模型
- 關(guān)聯(lián)模型
- 半監(jiān)督模型
5. 模型評估
- 針對分類模型
- 混淆矩陣
- roc曲線
- auc值
- 針對回歸模型
- mae
- mse
- r方評價
- 針對聚類模型
- rms
- 輪廓系數(shù)
- 針對關(guān)聯(lián)模型
- 支持度
- 執(zhí)行度
- 提升度
二卸伞、 重看數(shù)據(jù)分析
- 目標(biāo)角度：
- 描述類任務(wù)
直接獲取能代表數(shù)據(jù)特征的指標(biāo)抹镊。- 斷因類任務(wù)
結(jié)合目標(biāo)進(jìn)行分析。- 預(yù)測類任務(wù)
根據(jù)已有的數(shù)據(jù)特征荤傲，對未來的數(shù)據(jù)進(jìn)行預(yù)測髓考。- 決策類任務(wù)
整合已有的數(shù)據(jù)特征和規(guī)律，尤其是與收益相關(guān)的指標(biāo)弃酌，對決策進(jìn)行支撐。
- 過程角度：
- 數(shù)據(jù)采集
- 探索分析
- 特征工程
- 數(shù)據(jù)建模
- 模型評估
- 模型應(yīng)用
- 模型融合
- 方法角度：
- 對比分析
- 交叉分析
- 分組分析
- 因素分析
- 漏斗圖
- 主成分分析
- 聚類分析
- ... ...
