http://www.xuetuwuyou.com/course/330
視頻 + 源碼 + 詳細課件
規(guī)劃全面:內容涵蓋用戶標簽指標體系雾消、數據分析、數據開發(fā)挫望、ETL立润、搭建開發(fā)環(huán)境、kafka和hbase等常用大數據組件的介紹媳板、畫像的產品形態(tài)桑腮、打通數據服務層、以及如何應用用戶標簽和效果評估拷肌;
實操性強:每章案例都進行詳細的分析和開發(fā)過程講解到旦,附有相應的分析報告、文檔以及代碼巨缘。通過在搭建的虛擬機環(huán)境中執(zhí)行任務添忘,幫助學習者更好地理解工程上的實現方式和實現細節(jié)。
課程大綱:
第一章:用戶畫像基礎知識
1若锁、開發(fā)用戶畫像需要掌握的能力
2搁骑、實際案例-用戶畫像及其應用規(guī)劃說明
3、實際案例-用戶標簽應用實施方案說明
4又固、實際案例-工程開發(fā)代碼
5仲器、需要開發(fā)的表及表結構設計
第二章:用戶標簽指標體系
1、用戶屬性維度指標體系
2仰冠、用戶行為維度指標體系
3乏冀、用戶消費維度指標體系
4、用戶風控維度指標體系
5洋只、標簽口徑及數據調研分析
6辆沦、標簽命名方式小結
第三章: 搭建開發(fā)環(huán)境
1昼捍、搭建虛擬機開發(fā)環(huán)境及節(jié)點間互信
2、HDFS的安裝及應用場景
3肢扯、zookeeper的安裝及應用場景
4妒茬、yarn的安裝及應用場景
5、Hbase的安裝及應用場景
6蔚晨、MySQL的安裝及應用場景
7乍钻、sqoop的安裝及應用場景
8、kafka的安裝及應用場景
9铭腕、Spark的安裝及應用場景
第四章:標簽數據存儲
1银择、Hive存儲及應用特點
2、MySQL存儲及應用特點
3谨履、Hbase存儲數據及應用特點
4欢摄、為什么用不同數據庫存儲標簽數據
第五章:標簽數據開發(fā)
1、數據倉庫基礎知識
2笋粟、統(tǒng)計類標簽開發(fā)案例
3、規(guī)則類別標簽開發(fā)案例
4析蝴、挖掘類別標簽開發(fā)案例
5害捕、流式計算標簽開發(fā)(1)-kafka介紹
6、流式計算標簽開發(fā)(2)-streaming的Receiver模式與Direct模式
7闷畸、流式計算標簽開發(fā)(4)-記錄消費的offset
8尝盼、流式計算標簽開發(fā)(5)-Spark Streaming上線工程化
第六章:開發(fā)性能調優(yōu)
1、數據傾斜調優(yōu)
2佑菩、Hive合并小文件
3盾沫、使用Spark緩存(cache、persist殿漠、checkpoint)
4赴精、開發(fā)中間表
第七章:作業(yè)流程調度
1、crontab命令調度
2绞幌、airflow調度-基礎概念
3蕾哟、airflow調度-安裝
4、airflow調度-主要功能模塊
5莲蜘、airflow調度-工作流調度
6谭确、airflow調度-工程案例
7、標簽數據監(jiān)控預警(Hive票渠、MySQL逐哈、Hbase)
8、ETL異常問題排查及解決方案
第八章: 用戶畫像產品化
1问顷、標簽視圖與標簽查詢
2昂秃、標簽編輯管理
3薯鼠、自定義查詢與人群圈定
4、維透視分析功能
第九章:用戶畫像應用
1械蹋、業(yè)務數據分析
2出皇、精準營銷(短信、郵件)
3哗戈、推薦系統(tǒng)中應用