一個(gè)產(chǎn)品或系統(tǒng)，會(huì)產(chǎn)生很多數(shù)據(jù)舵抹，這些數(shù)據(jù)主要分為兩類：
1肪虎、業(yè)務(wù)數(shù)據(jù)：如用戶信息、訂單惧蛹、流水等扇救，這類數(shù)據(jù)會(huì)被存到數(shù)據(jù)庫中，也是最為核心的數(shù)據(jù)香嗓。
2迅腔、日志數(shù)據(jù)：日志是應(yīng)用在運(yùn)行過程中源源不斷產(chǎn)生的，用戶的請(qǐng)求靠娱，方法的調(diào)用等沧烈，都會(huì)產(chǎn)生日志，日志以文件的形式存在磁盤上像云。
盡管日志數(shù)據(jù)看上去沒有業(yè)務(wù)數(shù)據(jù)那么重要锌雀，但是也別小瞧了它，在遇到問題的時(shí)候苫费，通過日志來排查問題是很有效的汤锨，除此之外，利用日志還能做許多有趣的事情百框。
日志能干啥
用戶行為分析
用戶的點(diǎn)擊闲礼、登錄、瀏覽铐维、購買等所有操作柬泽，都會(huì)以日志的形式記錄下來，通過user_id或者session_id串聯(lián)起來分析嫁蛇，可以分析用戶在當(dāng)時(shí)的狀態(tài)下锨并，作出相應(yīng)操作的原因，并根據(jù)這些數(shù)據(jù)睬棚，來改善產(chǎn)品
系統(tǒng)功能監(jiān)測
一次http請(qǐng)求第煮，都會(huì)有相應(yīng)的返回信息解幼；一次API的調(diào)用，也會(huì)有相應(yīng)返回結(jié)果包警，通過日志將這些信息記錄下來撵摆，就能檢測系統(tǒng)功能是否出現(xiàn)異常，比如注冊(cè)成功率害晦、投資成功率等指標(biāo)的監(jiān)測統(tǒng)計(jì)
非業(yè)務(wù)數(shù)據(jù)獲取
像用戶來源渠道特铝，用戶的設(shè)備，操作系統(tǒng)壹瘟，APP版本鲫剿，瀏覽器版本等非業(yè)務(wù)數(shù)據(jù)，都可以通過日志獲取到
實(shí)時(shí)報(bào)表展現(xiàn)
一般的報(bào)表稻轨，都是通過從數(shù)據(jù)庫寫查詢來展現(xiàn)的灵莲，如果要展現(xiàn)實(shí)時(shí)數(shù)據(jù)，比如實(shí)時(shí)注冊(cè)人數(shù)澄者、實(shí)時(shí)投資金額的展示笆呆，包括更加炫酷的投資地圖等報(bào)表，還是得靠日志
產(chǎn)生日志
日志的產(chǎn)生粱挡，無非就是將需要記錄到日志中的信息，在代碼中合適的地方俄精，用像slf4j询筏，log4j這樣的日志工具打出來。通過實(shí)現(xiàn)Servlet的攔截器竖慧，如spring中的HandlerInterceptor嫌套，就可以不侵入業(yè)務(wù)代碼實(shí)現(xiàn)對(duì)每一次請(qǐng)求的日志記錄，HandlerInterceptor接口如下：
我們可以在preHandle方法中圾旨，從request對(duì)象中獲取到本次請(qǐng)求的url踱讨，ip，client信息砍的，headers痹筛，cookies，http請(qǐng)求參數(shù)廓鞠，登錄用戶user_id帚稠，session_id等信息，封裝到一個(gè)對(duì)象床佳，將這個(gè)對(duì)象放在request作用域中（Servlet的作用域：請(qǐng)求滋早、會(huì)話和上下文作用域）；然后砌们，在afterCompletion方法中杆麸，我們?nèi)〕鲋氨４嬖谡?qǐng)求作用域中的對(duì)象搁进，記錄下請(qǐng)求耗時(shí)，返回結(jié)果等信息昔头，最后把這個(gè)對(duì)象打到日志中就可以了拷获，這樣就實(shí)現(xiàn)了一個(gè)“埋點(diǎn)”的邏輯。
收集日志
日志源源不斷地寫入文件减细，盡管我們可以通過一些命令（如grep）來查看文件中的日志匆瓜，但是想要進(jìn)一步處理和分析，日志必須進(jìn)入我們的數(shù)據(jù)倉庫（DW）中未蝌，有很多開源的日志收集工具驮吱，Logstash就是其中一種。
Logstash是一款開源的實(shí)時(shí)數(shù)據(jù)收集引擎萧吠，它的插件機(jī)制讓它能輕松應(yīng)對(duì)各種不同的輸入源和輸出匯左冬，常用的input插件包括file，jdbc纸型，kafka拇砰，redis，rabbitmq等狰腌，常用的輸出插件包括：csv除破，elasticsearch，file琼腔，http瑰枫，kafka，redis丹莲，mongodb等光坝，filter插件可以過濾輸入的數(shù)據(jù)，包括drop（直接丟掉）甥材，grok（把非結(jié)構(gòu)化的事件數(shù)據(jù)解析成各種字段）盯另，下面是一個(gè)簡單的logstash配置實(shí)例：
比如請(qǐng)求日志：
55.3.244.1 GET /index.html 15824 0.043
配置文件：
input {
file {
path => "/var/log/http.log"
}
}
filter {
grok {
match => {
"message" => "%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}"
}
}
}
通過上面的解析，可以得到如下結(jié)果：
client: 55.3.244.1
method: GET
request: /index.html
bytes: 15824
duration: 0.043
一般來說洲赵，我們需要收集不止一臺(tái)server上的日志鸳惯，那么多個(gè)不同的logstash實(shí)例收集的日志應(yīng)該輸出到什么地方呢？
我們將所有這些logstash的output都輸出到同一redis（集群）板鬓，在redis中緩存悲敷，然后再通過一個(gè)總的logstash實(shí)例，從redis中取日志（redis input）俭令，通過http(s)傳輸?shù)轿覀兊臄?shù)據(jù)中心后德。
接收日志
日志通過網(wǎng)絡(luò)寫往數(shù)據(jù)中心，數(shù)據(jù)中心有一個(gè)logstash實(shí)例負(fù)責(zé)接收日志（http input）抄腔，過濾掉不需要的日志類型瓢湃，將日志寫入kafka理张。
Apache Kafka是一個(gè)高吞吐的分布式消息系統(tǒng)，最初由LinkedIn開發(fā)绵患，并于2011年初開源雾叭，它的優(yōu)點(diǎn)包括：
快速：支持每秒數(shù)百兆的讀寫
可擴(kuò)展：支持分區(qū)，無需停機(jī)落蝙，集群方式水平擴(kuò)展
持久化：數(shù)據(jù)持久化到磁盤织狐，支持副本存儲(chǔ)
相關(guān)術(shù)語：
Topic（主題）：按類區(qū)分的消息，這些類就稱為主題
Producer（生產(chǎn)者）：向主題發(fā)布消息的進(jìn)程
Consumer（消費(fèi)者）：訂閱主題并消費(fèi)消息的進(jìn)程
Broker：一個(gè)kafka集群由一臺(tái)或多臺(tái)server組成筏勒，每臺(tái)就叫做broker
對(duì)于每個(gè)topic移迫，kafka維護(hù)多個(gè)分區(qū)（partition），如圖所示：
每個(gè)分區(qū)是一個(gè)有序的管行、不可變的消息序列厨埋，日志被追加在分區(qū)后面。在每個(gè)分區(qū)的每條消息都有一個(gè)有序的id捐顷，稱為偏移（offset）荡陷，可以唯一確定每條消息在分區(qū)中的位置。分區(qū)分布在集群的多臺(tái)機(jī)器上迅涮，每個(gè)分區(qū)都有備份废赞，有一臺(tái)作為該分區(qū)的leader，0或多臺(tái)作為follower逗柴。
不管消息有沒有被消費(fèi)蛹头，kafka集群會(huì)儲(chǔ)存發(fā)布的消息一段時(shí)間，這段時(shí)間可以配置戏溺。每個(gè)消費(fèi)者只需要保存它消費(fèi)到日志里的哪一個(gè)位置了，一般消費(fèi)者都是按照順序一條條消費(fèi)屠尊，但是如果需要旷祸，也可以重新設(shè)置它開始讀的位置。有關(guān)kafka更多的介紹可以閱讀官方文檔讼昆。
Logstash的kafka output plugin可以很容易把logstash收到的日志發(fā)布到kafka的某個(gè)topic里托享，如下配置：
output {
kafka {
bootstrap_servers => “l(fā)ocalhost:9092”
topic_id => “l(fā)ogs”
}
}
指定kafka(zookeeper)的host地址和端口，再指定寫入的topic就行了
進(jìn)入數(shù)據(jù)倉庫和實(shí)時(shí)計(jì)算
當(dāng)日志進(jìn)到kafka了之后浸赫，我們分兩路消費(fèi)日志闰围，也對(duì)應(yīng)了大數(shù)據(jù)處理的兩種粒度：
進(jìn)數(shù)據(jù)倉庫（批處理）
日志會(huì)進(jìn)入到數(shù)據(jù)倉庫（Hive，HBase等）既峡，以便能和數(shù)據(jù)倉庫中的業(yè)務(wù)數(shù)據(jù)（通過同步任務(wù)）關(guān)聯(lián)羡榴，并通過批處理任務(wù)（MapReduce、SQL）計(jì)算需要的數(shù)據(jù)运敢。這一路我們采用了Apache的Flume校仑，flume是水槽的意思忠售，F(xiàn)lume可以通過配置的方式，從許多不同的地方收集迄沫、聚合和移動(dòng)數(shù)據(jù)到某個(gè)地方（HDFS稻扬、Hive、HBase等）
如圖羊瘩，F(xiàn)lume Agent是一個(gè)承載多個(gè)Flume組件的JVM進(jìn)程泰佳，包括Source、Sink尘吗、Channel逝她，Source和Sink顧名思義，Channel是Flume數(shù)據(jù)的臨時(shí)駐留管道摇予，常見的有memory管道和file管道汽绢，若是memory管道，數(shù)據(jù)緩存在內(nèi)存中侧戴，因此速度快宁昭，但是當(dāng)進(jìn)程意外退出或者斷電時(shí)，會(huì)造成數(shù)據(jù)的丟失酗宋，file管道中积仗，數(shù)據(jù)保存在磁盤上，因此數(shù)據(jù)不會(huì)丟失蜕猫，但是速度會(huì)慢一些寂曹，我們采用的是file channel，實(shí)際上memory channel問題也不大回右，因?yàn)闃O少會(huì)出現(xiàn)意外隆圆。
Flume中數(shù)據(jù)從Source到Channel以及從Channel到Sink的操作是兩個(gè)獨(dú)立的事務(wù)，而且為了提高效率翔烁，數(shù)據(jù)通常是多條一個(gè)批次操作的（可設(shè)置的Batch size渺氧，是個(gè)trade-off），這樣就導(dǎo)致當(dāng)處理到一半的時(shí)候如果Sink不可用了蹬屹，會(huì)導(dǎo)致此次操作失敗侣背，下次Flume會(huì)重新執(zhí)行這次操作，因此會(huì)造成數(shù)據(jù)的重復(fù)慨默，即”at least once”語義贩耐，所以通常還需要定時(shí)運(yùn)行某個(gè)去重的任務(wù)，比如用MapReduce或者Hive實(shí)現(xiàn)厦取，但實(shí)際應(yīng)用中常常對(duì)于重復(fù)也不是那么在意潮太。
實(shí)時(shí)計(jì)算
Kafka還有一路，可以接入一些流式計(jì)算框架蒜胖，如Storm消别，Samza抛蚤，Spark等，實(shí)時(shí)計(jì)算的數(shù)據(jù)可以落入數(shù)據(jù)庫寻狂，以便報(bào)表或API獲取數(shù)據(jù)岁经，也可以進(jìn)入Redis這種內(nèi)存數(shù)據(jù)庫，實(shí)時(shí)展現(xiàn)應(yīng)用獲取Redis中的數(shù)據(jù)并通過WebSocket等技術(shù)”Push”給前端頁面實(shí)現(xiàn)無刷新實(shí)時(shí)報(bào)表的展現(xiàn)蛇券。
總結(jié)
下圖是一個(gè)較為完整的架構(gòu)：
其中缀壤，中間部分的兩個(gè)Logstash，是為了解決跨網(wǎng)絡(luò)的傳輸纠亚，如果在同一個(gè)數(shù)據(jù)中心塘慕，保留一個(gè)就可以了。
最終的效果就是蒂胞，應(yīng)用產(chǎn)生的日志图呢，可以在幾秒鐘之內(nèi)近實(shí)時(shí)地（NRT）進(jìn)入我們的數(shù)據(jù)倉庫，然后就可以用SQL來查詢?nèi)罩玖恕?/p>
其實(shí)骗随，多虧了開源世界蛤织，這個(gè)圖中的幾乎每一部分，都可以用其他不止一種開源框架和工具代替鸿染，那為什么我們這么選擇指蚜？我覺得合適的就是最好的，根據(jù)自己的實(shí)際數(shù)據(jù)量涨椒，性能要求來選擇相應(yīng)的方案就可以了摊鸡，這其中肯定會(huì)遇到各種問題，試著去解決蚕冬，并隨著數(shù)據(jù)量的增長作出相應(yīng)改進(jìn)和反思免猾。
本文作者：顧寒陽coldcutter（點(diǎn)融黑幫），來自點(diǎn)融Data組囤热。本科畢業(yè)于復(fù)旦大學(xué)計(jì)算機(jī)系掸刊，參加過ACM、百度之星等程序設(shè)計(jì)比賽赢乓，對(duì)算法與數(shù)據(jù)結(jié)構(gòu)有濃厚興趣，目前興趣包括Web開發(fā)和大數(shù)據(jù)應(yīng)用石窑，愛玩桌球牌芋、羽毛球、網(wǎng)球松逊、乒乓球躺屁、滑雪等運(yùn)動(dòng)。
