1：大數(shù)據(jù)平臺(tái)網(wǎng)站日志分析系統(tǒng)袋哼，項(xiàng)目技術(shù)架構(gòu)圖：
2：大數(shù)據(jù)平臺(tái)網(wǎng)站日志分析系統(tǒng)吴藻，流程圖解析邀摆，整體流程如下：
ETL即hive查詢的sql;歡迎加入群【大數(shù)據(jù)/運(yùn)維/java架構(gòu)】：649917651
但是掘剪，由于本案例的前提是處理海量數(shù)據(jù)垦梆，因而诊赊，流程中各環(huán)節(jié)所使用的技術(shù)則跟傳統(tǒng)BI完全不同:
1) 數(shù)據(jù)采集：定制開(kāi)發(fā)采集程序厚满，或使用開(kāi)源框架FLUME
2) 數(shù)據(jù)預(yù)處理：定制開(kāi)發(fā)mapreduce程序運(yùn)行于hadoop集群
3) 數(shù)據(jù)倉(cāng)庫(kù)技術(shù)：基于hadoop之上的Hive
4) 數(shù)據(jù)導(dǎo)出：基于hadoop的sqoop數(shù)據(jù)導(dǎo)入導(dǎo)出工具
5) 數(shù)據(jù)可視化：定制開(kāi)發(fā)web程序或使用kettle等產(chǎn)品
6) 整個(gè)過(guò)程的流程調(diào)度：hadoop生態(tài)圈中的oozie工具或其他類似開(kāi)源產(chǎn)品
3：在一個(gè)完整的大數(shù)據(jù)處理系統(tǒng)中，除了hdfs+mapreduce+hive組成分析系統(tǒng)的核心之外碧磅，還需要數(shù)據(jù)采集碘箍、結(jié)果數(shù)據(jù)導(dǎo)出、任務(wù)調(diào)度等不可或缺的輔助系統(tǒng)鲸郊，而這些輔助工具在hadoop生態(tài)體系中都有便捷的開(kāi)源框架丰榴，如圖所示：
4：采集網(wǎng)站的點(diǎn)擊流數(shù)據(jù)分析項(xiàng)目流程圖分析：
5：流式計(jì)算一般架構(gòu)圖：
