導(dǎo)讀： 網(wǎng)站分析也稱Web分析(web analytics)。一言以蔽之嘁捷，對于網(wǎng)站分析造成，個人的理解是：網(wǎng)站分析通過對網(wǎng)站各項(xiàng)數(shù)據(jù)指標(biāo)進(jìn)行解讀與分析，從而了解和歸納網(wǎng)站瀏覽者的行為及洞察行為背后的需求雄嚣，有針對性地對網(wǎng)站進(jìn)行整體或細(xì)節(jié)的改善晒屎，提升網(wǎng)站運(yùn)營水平和更好的滿足網(wǎng)站用戶需求』荷總之鼓鲁，網(wǎng)站分析是網(wǎng)站運(yùn)營的一個核心模塊。網(wǎng)站運(yùn)營人員通過網(wǎng)站分析來改善網(wǎng)站和提高業(yè)績港谊。
下面就簡單介紹一下在網(wǎng)站分析項(xiàng)目中用到的幾個知識點(diǎn)簡介
1骇吭，HDFS簡介
HDFS（Hadoop Distributed File System ）Hadoop分布式文件系統(tǒng)。是根據(jù)google發(fā)表的論文翻版的歧寺。論文為GFS（Google File System）Google 文件系統(tǒng)
HDFS有很多特點(diǎn)：
① 保存多個副本绵跷，且提供容錯機(jī)制，副本丟失或宕機(jī)自動恢復(fù)成福。默認(rèn)存3份。
② 運(yùn)行在廉價的機(jī)器上荆残。
③ 適合大數(shù)據(jù)的處理奴艾。多大？多心谒埂蕴潦？HDFS默認(rèn)會將文件分割成block，64M為1個block俘闯。然后將block按鍵值對存儲在HDFS上潭苞，并將鍵值對的映射存到內(nèi)存中。如果小文件太多真朗，那內(nèi)存的負(fù)擔(dān)會很重此疹。
如上圖所示，HDFS也是按照Master和Slave的結(jié)構(gòu)遮婶。分NameNode蝗碎、SecondaryNameNode、DataNode這幾個角色旗扑。
1蹦骑，NameNode：是Master節(jié)點(diǎn)，是大領(lǐng)導(dǎo)臀防。管理數(shù)據(jù)塊映射眠菇；處理客戶端的讀寫請求边败；配置副本策略；管理HDFS的名稱空間捎废；
2笑窜，SecondaryNameNode：是一個小弟，分擔(dān)大哥namenode的工作量缕坎；是NameNode的冷備份怖侦；合并fsimage和fsedits然后再發(fā)給namenode。
3谜叹， DataNode：Slave節(jié)點(diǎn)匾寝，奴隸，干活的荷腊。負(fù)責(zé)存儲client發(fā)來的數(shù)據(jù)塊block艳悔；執(zhí)行數(shù)據(jù)塊的讀寫操作。
4女仰，熱備份：b是a的熱備份猜年，如果a壞掉。那么b馬上運(yùn)行代替a的工作疾忍。
5乔外，冷備份：b是a的冷備份，如果a壞掉一罩。那么b不能馬上代替a工作杨幼。但是b上存儲a的一些信息，減少a壞掉之后的損失聂渊。
6差购， fsimage:元數(shù)據(jù)鏡像文件（文件系統(tǒng)的目錄樹。）
7汉嗽， edits：元數(shù)據(jù)的操作日志（針對文件系統(tǒng)做的修改操作記錄）
8欲逃，namenode內(nèi)存中存儲的是=fsimage+edits。
SecondaryNameNode負(fù)責(zé)定時默認(rèn)1小時饼暑，從namenode上稳析，獲取fsimage和edits來進(jìn)行合并，然后再發(fā)送給namenode撵孤。減少namenode的工作量迈着。
2，flume概述
Flume是Cloudera提供的一個高可用的邪码，高可靠的裕菠，分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)闭专，F(xiàn)lume支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方奴潘，用于收集數(shù)據(jù)旧烧；同時，F(xiàn)lume提供對數(shù)據(jù)進(jìn)行簡單處理画髓，并寫到各種數(shù)據(jù)接受方（可定制）的能力掘剪。我們選用flume對內(nèi)部多個系統(tǒng)的日志進(jìn)行信號的采集、管理和查詢奈虾，目前僅實(shí)現(xiàn)了信息管理功能夺谁，進(jìn)一步會對報(bào)警、統(tǒng)計(jì)等功能進(jìn)行開發(fā)肉微。
flume的主要組件包括：
Source,SourceRunner,Interceptor,Channel,ChannelSelector匾鸥，ChannelProcessor，Sink,SinkRunner,SinkProcessor,SinkSelector等
工作流程包含兩個部分：
source->channel碉纳，數(shù)據(jù)由source寫入channel勿负，主動模式，主要步驟如下：
一個SourceRunner包含一個Source對象劳曹，一個Source對象包含一個ChannelProcessor對象奴愉，一個ChannelProcessor對象包含多個Interceptor對象和一個ChannelSelector對象
1）SourceRunner啟動Source，Source接收Event
2) Source調(diào)用ChannelProcessor
3）ChannelProcessor調(diào)用Interceptor進(jìn)行過濾Event操作
4）ChannelProcessor調(diào)用ChannelSelector對象根據(jù)配置的策略選擇Event對應(yīng)的Channel（replication和multiplexing兩種）
5）Source將Event發(fā)送到對應(yīng)的Channel中
channel->sink铁孵，數(shù)據(jù)由sink主動從channel中拉榷稹（將壓力分?jǐn)偟絪ink,這一點(diǎn)類似于kafka的consumer）
一個SinkRunner對象包含一個SinkProcessor對象,一個SinkProcessor包含多個Sink或者一個SinkSelector
1）SinkRunner啟動SinkProcessor(DefaultSinkProcessor，F(xiàn)ailoverSinkProcessor蜕劝，LoadBalancingSinkProcessor 3種)
2）如果是DefaultSinkProcessor的話账忘，直接啟動單個Sink
3）FailoverSinkProcessor，LoadBalancingSinkProcessor對應(yīng)的是SinkGroup
4）FailoverSinkProcessor從SinkGroup中選擇出Sink并啟動
5）LoadBalancingSinkProcessor包含SinkSelector熙宇，會根據(jù)SinkSelector在SinkGroup中選擇Sink并啟動
6)Sink 從Channel中消費(fèi)Event信息
3，MapReduce簡介
MapReduce是個非常靈活和強(qiáng)大的數(shù)據(jù)聚合工具溉浙。它的好處是可以把一個聚合任務(wù)分解為多個小的任務(wù)烫止，分配到多服務(wù)器上并行處理。
MongoDB也提供了MapReduce戳稽，當(dāng)然查詢語肯定是JavaScript馆蠕。MongoDB中的MapReduce主要有以下幾階段：
1. Map:把一個操作Map到集合中的每一個文檔
2. Shuffle: 根據(jù)Key分組對文檔，并且為每個不同的Key生成一系列(>=1個)的值表(List of values)惊奇。
3. Reduce: 處理值表中的元素互躬，直到值表中只有一個元素。然后將值表返回到Shuffle過程颂郎，循環(huán)處理吼渡，直到每個Key只對應(yīng)一個值表，并且此值表中只有一個元素乓序，這就是MR的結(jié)果寺酪。
4. Finalize：此步驟不是必須的坎背。在得到MR最終結(jié)果后，再進(jìn)行一些數(shù)據(jù)“修剪”性質(zhì)的處理寄雀。
MongoDB中使用emit函數(shù)向MapReduce提供Key/Value對得滤。
Reduce函數(shù)接受兩個參數(shù)：Key,emits. Key即為emit函數(shù)中的Key。 emits是一個數(shù)組盒犹，它的元素就是emit函數(shù)提供的Value懂更。
Reduce函數(shù)的返回結(jié)果必須要能被Map或者Reduce重復(fù)使用，所以返回結(jié)果必須與emits中元素結(jié)構(gòu)一致急膀。
Map或者Reduce函數(shù)中的this關(guān)鍵字沮协，代表當(dāng)前被Mapping文檔。
4脖阵，Spark簡介
什么是 Spark
Spark 是一個針對大規(guī)模數(shù)據(jù)處理的快速通用引擎
Spark 是 MapReduce 的替代方案皂股，而且兼容 HDFS, Hive, 可容入Hadoop 的生態(tài)系統(tǒng)，彌補(bǔ) MapReduce 的不足
Spark核心： RDD(Resilient Distributed Datasets 彈性分布式數(shù)據(jù)集）
RDD 可簡單理解為： 一個提供了很多操作接口的數(shù)據(jù)集合命黔，分布式存儲于集群環(huán)境中的存儲設(shè)備中（內(nèi)存或硬盤）煤傍，其中包括容錯，并行處理等功能
==> Spark 特點(diǎn)
---> 快
----?優(yōu)點(diǎn)：與Mapreduce 相比唁毒，Spark 基于內(nèi)存運(yùn)算常侦，運(yùn)算速度要快100倍，基于硬盤計(jì)算坠宴，運(yùn)算速度要快 10 倍
----?缺點(diǎn)：沒有對內(nèi)存進(jìn)行管理洋魂，把所有的內(nèi)存管理都交給應(yīng)用程序，以彌補(bǔ)MapReduce的不足喜鼓，
容易出現(xiàn) OOM（out of memory）, 可使用 Java Heap Dump 工具分析 Java 程序的內(nèi)存溢出
---> 易用
----?Spark 支持 Java 副砍，Python, Scala 的 API
----?支持80多種算法
----?支持交互式，可以在shell 中使用Spark 驗(yàn)證解決問題的方法
通用（生態(tài)圈）
----?批處理
----?交互式查詢 （Spark SQL）
----?實(shí)時流處理 （Spark Streaming）
----?機(jī)器學(xué)習(xí) ( Spark MLlib )
----?圖計(jì)算 ( GraphX )
----?與 Hadoop 很好的融合庄岖， 可以直接操作 HDFS, 并提供 Hive on Spark, Pig on Spark的框架集成 Hadoop（配置Hive on Spark 還不成熟）
兼容性 可以非常方便的與其它開源產(chǎn)品進(jìn)行融合
----?可以使用 Hadoop 的 YARN 和 Apache Mesos 作為它的資源管理調(diào)度器
----?可以處理所有 Hadoop 支持的數(shù)據(jù)：HDFS豁翎， HBase， Cassandra 等
----?不需要做任何的數(shù)據(jù)遷移就可以使用 Spark 的強(qiáng)大處理能力
----?可以不依賴第三方的資源管理和調(diào)度器隅忿，實(shí)現(xiàn) Standalone 作為它的內(nèi)置的資源管理和調(diào)試框架心剥，降低部署的復(fù)雜性
----?提供了在 EC2 上部署 Standalone 的Spark 集群工具
Spark 生太圈
---> Spark Core
---> Spark SQL
---> Spark Streaming
---> Spark MLLib: 機(jī)器學(xué)習(xí)
---> Spark GraphX: 圖計(jì)算
上面這四種知識點(diǎn)在我們這個網(wǎng)站分析項(xiàng)目里面是需要用到的，那么這個網(wǎng)站分析項(xiàng)目具體有哪些內(nèi)容呢背桐？下面我就大家介紹一下這個項(xiàng)目的制定框架优烧。可以加我扣扣3300863615
來學(xué)習(xí)下面這個項(xiàng)目链峭，我這里會有視頻資料畦娄。
網(wǎng)站分析項(xiàng)目：
1，項(xiàng)目介紹
1
2，業(yè)務(wù)數(shù)據(jù)存儲：HDFS
2
3,業(yè)務(wù)數(shù)據(jù)采集：Flume
3
4,數(shù)據(jù)清洗與加工：MapReduce
4
5,數(shù)據(jù)清洗與加工：Spark
5
6纷责，項(xiàng)目代碼講解及項(xiàng)目總結(jié)
以上這些內(nèi)容你了解完了這個項(xiàng)目也就可以完整的做好捍掺，有需要學(xué)習(xí)的可以關(guān)注我，我這里有整個完整的項(xiàng)目的視頻再膳，學(xué)完以后就可以做好這個項(xiàng)目了挺勿！
