????之前說(shuō)要搭建帆軟日志的解析往史，最近因?yàn)橐咔樵蚪K于有時(shí)間去做這件事情了，之前的日志查詢還在使用tail+grep也確實(shí)是略顯原始
????節(jié)點(diǎn)是整了3臺(tái)服務(wù)器裝的3節(jié)點(diǎn)elasticsearch7.5+Filebeat+kibana進(jìn)行的帆軟日志解析
elastic集群的搭建是參考的http://www.reibang.com/p/4bf5a8b743d2的文章多說(shuō)一句佛舱，這沒(méi)有使用ELK椎例，直接使用filebeat進(jìn)行日志采集監(jiān)聽(tīng)后，使用es中的數(shù)據(jù)預(yù)處理IngestNode/Pipeline（http://www.reibang.com/p/e8e0639c98f6）這里我們直接開(kāi)始說(shuō)明filebeat的配置以及如何設(shè)置es索引以及mapping请祖，配置pipeline進(jìn)行日志解析订歪，提取關(guān)鍵詞信息。

配置filebeat

????目前我filebeat的配置是直接安裝與節(jié)點(diǎn)機(jī)上肆捕，讀取fr日志發(fā)送到es中進(jìn)行的日志解析刷晋，帆軟有自己的決策頁(yè)面，但看不到查詢但參數(shù)以及報(bào)錯(cuò)信息我覺(jué)得是沒(méi)點(diǎn)屁用的慎陵。

#=========================== Filebeat inputs =============================

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /嘿嘿嘿/data1/frLogs/FineReport.log
  fields:
    source: finereport
multiline.negate: true
multiline.match: after 
#==================== Elasticsearch template setting ==========================
setup.template.name: "finereport"
setup.template.pattern: "finereport*"
setup.ilm.enabled: false
#setup.template.overwrite: true
setup.template.enabled: true
#
##============================== Kibana =====================================

setup.kibana:
  host: "yourkibana:15021"

#================================ Outputs =====================================

output.elasticsearch:
  enabled: true
  hosts: ["http://yourelasticsearch:15020"]
  pipelines:
    - pipeline: fanruanlog
      when.equals:
        fields.source: finereport
  indices:
    - index: "finereport-%{+yyyy.MM.dd}"
      when.equals:
        fields.source: "finereport"

整個(gè)配置文件就是設(shè)定filebeat讀哪眼虱，寫(xiě)哪，使用什么索引模版席纽，使用那個(gè)pipeline這里坑了我的參數(shù)是
setup.ilm.enabled: false //不加這個(gè)你就用于都會(huì)是默認(rèn)索引
setup.template.overwrite: true //加了這個(gè)你提前生成的索引模版會(huì)被覆蓋
setup.template.enabled: true
啟動(dòng)命令如下：

 nohup ./filebeat -e -c filebeat.yml > filebeat.log &

有什么問(wèn)題可以查看filebeat.log定向解決

配置pipeline

如果我們不配置pipeline捏悬，因?yàn)槲覀兊娜罩臼请s亂未經(jīng)過(guò)格式化的內(nèi)容，傳遞到es中經(jīng)過(guò)分詞后會(huì)默認(rèn)的存儲(chǔ)在message這個(gè)字段里胆筒，也就是說(shuō)所有的信息都會(huì)存在一起邮破，當(dāng)然這里如果使用模糊匹配也能過(guò)獲取到你想要的信息，使用pipeline可以進(jìn)行日志的解析渲染仆救，我查了些資料抒和，這里使用gock進(jìn)行日志解析http://coder55.com/article/43041
我們?cè)趉ibana的頁(yè)面里可以進(jìn)行這部分的測(cè)試工作grok Debugger

image.png

image.png

這里包含部分業(yè)務(wù)數(shù)據(jù)所以測(cè)試的樣例數(shù)據(jù)這里無(wú)法給出來(lái)了

%{TIME:time} %{NOTSPACE:THREAD} %{LOGLEVEL:loglevel} \[%{WORD:logrole}\] .*Name : %{NOTSPACE:reportName}\].*USERNAME : %{NOTSPACE:user}[\d\D](?<parameter>.*)}.*[\d\D](?<errorInfo>.*)

一開(kāi)始我寫(xiě)這部分發(fā)現(xiàn)網(wǎng)上的例子大部分都是按照順序進(jìn)行解析摧莽，但帆軟的日志打的是在是太多了，有很多的數(shù)據(jù)不是我們關(guān)心的的數(shù)據(jù)（網(wǎng)上能找到很多解析nginx日志的）顿痪，可以看到前部分解析是的%{TIME:time} %{NOTSPACE:THREAD} %{LOGLEVEL:loglevel} \[%{WORD:logrole}\] .*Name : %{NOTSPACE:reportName}\]這部分我是按照順序?qū)懙恼齽t解析
但是后部分就不是我想要的镊辕，這里面的.*是匹配所有的字符（不包含換行符）這樣就可以用來(lái)跳過(guò)我們不想要的字段.*USERNAME : %{NOTSPACE:user}這一步就直接跳到操作人名稱來(lái)油够，中間會(huì)跳過(guò)大量的無(wú)用數(shù)據(jù)，同理[\d\D]是用來(lái)匹配所有字符(?<errorInfo>.*)把最后所有的信息都匹配為errorinfo,只要耐心夠征懈，這部分用正則就能解析出來(lái)
????生成pipeline

curl -XPUT 'http://yourEs:15020/_ingest/pipeline/fanruanlog' -H 'Content-Type: application/json' -d'
{
    "description" : "fanruan log pipeline",
    "processors": [
        {
            "grok": {
                "field": "message",
                "patterns": ["%{TIME:time} %{NOTSPACE:THREAD} %{LOGLEVEL:loglevel} \\[%{WORD:logrole}\\] .*Name : %{NOTSPACE:reportName}\\].*USERNAME : %{NOTSPACE:user}[\\d\\D](?<parameter>.*)}.*[\\d\\D](?<errorInfo>.*)"]
            }
        }
    ]
}
'

注意這里的patterns里面的字符要經(jīng)過(guò)一次轉(zhuǎn)義

創(chuàng)建索引模版

image.png

將你提取的查詢字段在里面列出來(lái)創(chuàng)建查詢索引

image.png

創(chuàng)建mapping石咬，這里的索引就創(chuàng)建完成啦
到kibana里創(chuàng)建kibana的索引

image.png

image.png

小結(jié)

順序有點(diǎn)問(wèn)題亏娜，應(yīng)該是先pipeline焕窝，創(chuàng)建索引，filebeat配置
帆軟這里我們進(jìn)行了改造维贺，編寫(xiě)了異步導(dǎo)出邏輯它掂，然后發(fā)現(xiàn)異步的導(dǎo)出使用帆軟的日志打印工具打印不出來(lái)，就很尬了溯泣，這一塊又必須要整虐秋，那下一期就寫(xiě)咋埋點(diǎn)監(jiān)控把，目前巨量數(shù)據(jù)的導(dǎo)出問(wèn)題還在解決處理中发乔，異步導(dǎo)出也解決不了的話熟妓，得開(kāi)始考慮把導(dǎo)出獨(dú)立出來(lái)走調(diào)度處理重新封裝了（ps最近測(cè)試了下clickhouse的性能雪猪，很讓人驚喜）