elk日志大盤顯示和日志監(jiān)控報(bào)警配置實(shí)踐

1. Logstash

1.1具體內(nèi)容詳解

具體講解大家可以看文檔：https://www.elastic.co/guide/en/logstash/current/index.html

1.2使用整體配置

1.2.1項(xiàng)目工程中的配置

在logback對應(yīng)的配置文件logback-spring.xml中配置如下內(nèi)容：

????????注意encoder標(biāo)簽中對應(yīng)的三個(gè)字段：requestUrl进苍，traceId和clientIp，這三個(gè)是在要求在輸出日志中增加這三個(gè)標(biāo)簽姑裂，和logback對應(yīng)的默認(rèn)輸出合并帖烘，對應(yīng)的輸出結(jié)果為：

1.2.2 日志發(fā)送到elasticsearch配置

具體對應(yīng)conf配置如下：

input {

?file {

?type =>"XXX_kccf_pc_info"??------對應(yīng)的elasticsearch索引type值

path => "/data/log/kccf_pc_info.*.log"??------輸入日志

???start_position => "beginning"

???codec => json {

????????????charset => "UTF-8"

???????}

??? }

}

filter {

?? if[type] == "XXX_kccf_pc_info"

????{

if "method=HEAD" in [requestUrl] {?? ----------如果是心跳檢查（head）在不會將日志拉取到elasticSearch

??????????????? drop {}

??????}

??????????mutate {

??????????????? split =>["[requestUrl]",","]

?????????}

????}

???geoip {

???????????source => "ip"

???????????target => "geoip"

?????}

}

filter {

?? if[type] == "XXX_kccf_pc_info"

????{

????????if [level] == "ERROR" and "PARAM_NO_PRIVILEGE" notin [message] and "ERROR-START" not in [message]

?????????{

??????????mutate {

????????????? add_tag => "email"}

?????????}

?????}

???????? geoip{

??? ???????????????? source=> "ip"

???? ??????????????? target => "geoip"

??? }

}

output {

? if[type] == "XXX_kccf_pc_info"{

?elasticsearch {

???????hosts => "XXXXX"

index => "XXXX-%{+YYYY.MM.dd}"? ------elasticsearch對應(yīng)的索引名稱

???????sniffing => false

???????manage_template => false

???????flush_size => 3000

???????idle_flush_time => 5

???????user => "logstash"

???????password => "logstash"

#???????ssl => true

#???????ssl_certificate_verification => false

#???????truststore => "/etc/logstash/truststore.jks"

#???????truststore_password => changeit

?????}

? }

?if"email" in [tags] and [type] =="XXX_kccf_pc_info"

? {

?email{---------------------發(fā)送錯誤日志郵件

???????port?????????? =>??? "587"

???????address??????? =>??? "smtp.XXXX.com"

???????username?????? =>??? "devops@XXXX.com"

???????password?????? =>??? "xxxxxx"

???????authentication =>???"login"

???????use_tls??????? =>??? true

???????from?????????? =>??? "devops@XXX.com"

???????subject??????? =>??? "Waring: you have an error on host101.201.118.236(TYJ1)"

???????to???????????? =>??? "yjk@XXX.com"

???????via??????????? =>??? "smtp"

???????body?????????? =>??? "you hava an error ofkccf_pc_info!? server_ip:XXX\n ERROR time: %{@timestamp}+08:00Hours ; \n ERROR message: %{message} ; \nLogger Name: %{logger_name}; \n Level:%{level} ; \n level_value:%{level_value}; \n Stack_trace : \n %{stack_trace}\n "

???????}

? }

}

2. Elastic search

2.1具體內(nèi)容詳解

詳細(xì)內(nèi)容參見：https://www.elastic.co/guide/en/elasticsearch/reference/current/index.html

Elasticsearch集群可以包含多個(gè)索引（數(shù)據(jù)庫）滑黔，這些索引又包含多個(gè)類型（表）趁蕊。這些類型包含多個(gè)文檔（行）目派，每個(gè)文檔都有多個(gè)字段（列）。

2.2 elasticsearch head介紹

下載和詳細(xì)內(nèi)容參見：https://github.com/mobz/elasticsearch-head

可以查看elasticsearch服務(wù)器上各種信息

2.3 searchguard 插件

下載和詳細(xì)內(nèi)容參見：https://github.com/floragunncom/search-guard

從對應(yīng)配置文件名稱就可以看出來英遭，就主要有以下主要關(guān)系：

2.4 script field

詳細(xì)說明參見：https://www.elastic.co/guide/en/elasticsearch/reference/5.6/search-request-script-fields.html

就是可以根據(jù)腳本動態(tài)的在ElasticSearch中生成對應(yīng)的field间护，而不是一開始就在mapping中定義的好的，后面在kibana配置大盤的時(shí)候會用到挖诸。

2.5 painless 腳本

腳本語言詳解：https://www.elastic.co/guide/en/elasticsearch/reference/5.4/modules-scripting-painless.html

3.Kibana

3.1 具體內(nèi)容詳解

下載和詳細(xì)內(nèi)容詳解：https://www.elastic.co/guide/en/kibana/current/index.html

3.2 searchguard 插件

插件下載地址和詳細(xì)說明參見：https://github.com/floragunncom/search-guard-kibana-plugin

3.3 sentinl 郵件報(bào)警插件

插件下載和詳細(xì)說明地址：https://github.com/sirensolutions/sentinl/issues/137

配置地址可以參考：http://blog.51cto.com/10546390/2051676

注意：郵件配置的時(shí)候一定是授權(quán)碼汁尺，不是密碼，否則報(bào)授權(quán)失敗

4.日志監(jiān)控大盤配置

4.1 kibana日志搜索基本用法

詳細(xì)內(nèi)容查看：https://www.elastic.co/guide/en/kibana/5.4/search.html

AND多律，OR痴突，NOT，范圍查詢語法支持

其實(shí)對于kibana查詢狼荞，還是可以使用filter進(jìn)行查詢的（高版本已經(jīng)支持了辽装，但是我們使用的5.4需要經(jīng)過下面的步驟來增加filter）：

4.2 增加索引scriptfield

之所以要增加scriptfields是因?yàn)楸热鐝膶?yīng)的下面日志中抽取對應(yīng)的耗時(shí)：

method=com.kccf.pc.controller.article.ArticleController.getArticleListcost 22 milliseconds

要從對應(yīng)的日志中截取對應(yīng)的耗時(shí)內(nèi)容，所以要使用腳本來進(jìn)行截取粘秆，并將截取的值存放在對應(yīng)的script fields字段中如迟，供后面的Visualize使用。

4.3 Visualize配置

單擊“加號”新增一個(gè)視圖：

并選擇對應(yīng)的視圖類型攻走，然后選擇要從哪個(gè)索引采集數(shù)據(jù)進(jìn)行配置：

當(dāng)然X殷勘，Y軸都可以配置多個(gè)統(tǒng)計(jì)，如下面的：

4.4 Dashboard大盤配置

大盤就是將上面配置的多個(gè)Visualized放在一個(gè)地方進(jìn)行顯示昔搂，如下圖所示：

新增大盤玲销，通過如下操作：

將Visualized放置在大盤中：

5. 監(jiān)控郵件報(bào)警sentinl配置

5.1 新增watcher配置

（1）?General：表示多長時(shí)間運(yùn)行一次，定時(shí)遍歷日志

（2）?Input：對elasticSearch中的索引或者索引列表進(jìn)行過濾采集摘符，得到最終的輸入

（3）?Condition：就是過濾之后的日志滿足什么條件才進(jìn)行報(bào)警

（4）?Transform：對結(jié)果進(jìn)行轉(zhuǎn)換

（5）?Actions：到達(dá)報(bào)警條件了贤斜，進(jìn)行什么樣的處理，一般就是發(fā)送郵件通知

5.1.1 Input過濾：

下面是配置的Input過濾：在最近一個(gè)小時(shí)內(nèi)逛裤，耗時(shí)大于20毫秒的記錄進(jìn)行過濾

{

?"search": {

???"request": {

"index":[

???????"indu_kccf_pc_info-*"

????? ],

?????"body": {

???????"query": {

?????????"bool": {

???????????"must": [

????????????? {

???????????????"script": {

?????????????????"script": {

"lang": "painless",

???????????????????"params": {

"costTimeThrehold":20

???????????????????},

"inline":"if(null != doc['message.keyword'].value &&doc['message.keyword'].value.trim().startsWith(\"method=\")&&doc['message.keyword'].value.trim().endsWith(\"milliseconds\")){Number costTimeNum = NumberFormat.getInstance().parse(doc['message.keyword'].value.substring(doc['message.keyword'].value.indexOf('cost')+4,doc['message.keyword'].value.lastIndexOf('milliseconds')-1).trim());if(costTimeNum.longValue() >?params.costTimeThrehold) true; else false;}elsefalse;"

????????????????? }

??????????????? }

????????????? },

?? ???????????{

"range":{

?????????????????"@timestamp": {

???????????????????"gte": "now-1h",

???????????????????"lte": "now",

???????????????????"format": "epoch_millis"

????????????????? }

??????????????? }

????????????? }

??????????? ]

????????? }

??????? }

????? }

??? }

? }

}

注意：inline里面的腳本功能就是截取如下日志中對應(yīng)的耗時(shí)method=com.kccf.pc.controller.article.ArticleController.getArticleListcost?22?milliseconds瘩绒。Range對應(yīng)的是時(shí)間范圍過濾。

5.1.2 Condition配置：

Condition配置就是對input過濾得到結(jié)果進(jìn)行統(tǒng)計(jì)带族，如果統(tǒng)計(jì)的結(jié)果滿足設(shè)置的條件則進(jìn)行觸發(fā)后面的行為：

上面的條件是Input對應(yīng)的過濾結(jié)果的條數(shù)大于1則進(jìn)行報(bào)警锁荔，這個(gè)腳本是可以自己動態(tài)編寫的，因?yàn)閟entinl插件也是在elasticSearch中定義了自己對應(yīng)的索引：watcher和watcher_alarms-時(shí)間蝙砌，如下面在elasticSearch-head中對應(yīng)的截圖所示：

（1）索引watcher類型sentinl-watcher對應(yīng)的內(nèi)容：這個(gè)內(nèi)容就是我們在kibana頁面上配置的watcher內(nèi)容的json化）

{

"_index":"watcher",

"_type":"sentinl-watcher",

??? "_id":"38eljz92mycwqi00ian55ng66r-0tqtq7q46valazkmg8yn20ggb9-im815vceg9gap6akbvjejnhfr",

??? "_version":32,

??? "_score":1,

??? "_source":{

?????? "title":"所有",

?????? "disable":false,

?????? "report":false,

?????? "trigger":{

?????????? "schedule":{

????????????? "later":"every 1 secs"

?????????? }

?????? },

?????? "input":{

?????????? "search":{

????????????? "request":{

????????????????? "index":[

???????????????????? "cpcn-*"

????????????????? ],

????????????????? "body":{}

????????????? }

?????????? }

?????? },

?????? "condition":{

?????????? "script":{

????????????? "script":"payload.hits.total >0"

?????????? }

?????? },

?????? "actions":{

?????????? "error報(bào)警": {

????????????? "throttle_period":"0h0m1s",

????????????? "email":{

????????????????? "to":"yjk@XXX.com",

????????????????? "from":"devops@XXX.com",

????????????????? "subject":"報(bào)警",

????????????????? "body":"event:{{payload.hits.total}} errorMsgConent:{{payload.hits.hits}}"

????????????? }

?????? ??? }

?????? }

??? }

}

（2）索引watcher類型sentinl-script對應(yīng)的內(nèi)容：就是在kibana中配置的Input中的body內(nèi)容

{

"_index":"watcher",

"_type":"sentinl-script",

??? "_id":"8mmkkevvdr0g0sz3mmojn61or-s6hfac0a3y36ier49ju1sjor-keeuakonk0v51cntohp1ll3di",

??? "_version":1,

??? "_score":1,

??? "_source":{

?????? "description":"input",

?????? "title":"error",

?????? "body":"{

?????? "search":{

?????????? "request":{

????????????? "index":["cpcn-*"],

????????????? "body":{

????????????????? "query":{

???????????????????? "bool":{

???????????????????????? "must":[{

??????????????????????????????? "wildcard":{

?????????????????????????????????? "message":"*exception*"

??????????????????????????????? }

??????????????????????????? },

??????????????????????????? {

??????????????????????????????? "wildcard":{

?????????????????????????????????? "message":"*error*"

??????????????????????????????? }

??????????????????????????? },

??????????????????????????? {

??????????????????????????????? "range":{

?????????????????????????????????? "@timestamp":{

?????????????????????????????????????? "gte":"now-1h",

?????????????????????????????????????? "lte":"now",

?????????????????????????????????????? "format":"epoch_millis"

?????????????????????????????????? }

??????????????????????????????? }

??????????????????????????? }

???????????????????????? ],

???????????????????????? "must_not":[]

???????????????????? }

????????????????? }

????????????? }

?????????? }

?????? }

??? }

??? "

}

（3）報(bào)警信息內(nèi)容對應(yīng)的是索引watcher_alarms-時(shí)間類型為配置Action名稱的內(nèi)容：

{

"_index":"watcher_alarms-2018.04.09",

"_type":"email_admin",------配置的action名稱

??? "_id":"AWKphaIhjWbDkGCDylsw",

??? "_version":1,

??? "_score":1,

??? "_source":{

?????? "@timestamp":"2018-04-09T08:28:50.080Z",

?????? "watcher":"watcher_title",

?????? "level":"high",

?????? "message":"Found 177 Events",

?????? "action":"email_admin",

"payload":{

?????????? "took":4,

?????????? "timed_out":false,

?????????? "_shards":{

????????????? "total":25,

????????????? "successful":25,

????????????? "skipped":0,

????????????? "failed":0

?????????? },

"hits":{

????????????? "total":177,

????????????? "max_score":1,

"hits":[{

????????????????? "_index":"cpcn-2018.01.17",

????????????????? "_type":"logs",

????????????????? "_id":"AWECHmRX1zYDH4X06oyZ",

????????????????? "_score":1,

????????????????? "_source":{

???????????????????? "@version":"1",

???????????????????? "host":"DESKTOP-7DN8E16",

???????????????????? "@timestamp":"2018-01-17T03:16:41.677Z",

???????????????????? "message":"qwe"

????????????????? }

????????????? }]

?????????? }

?????? },

?????? "report":false

??? }

}

注意上面的報(bào)警內(nèi)容阳堕，正好是我們在Condition中配置的需要的信息，如condition配置所示：

{

?"script": {

"script": "payload.hits.total?> 1"?-----正好對應(yīng)的上面報(bào)警內(nèi)容對應(yīng)的記錄中的內(nèi)容

? }

}

5.1.3 Actions配置：

Actions配置就配置在滿足報(bào)警條件的時(shí)候择克，如何進(jìn)行處理恬总，如下面報(bào)警條件滿足的時(shí)候進(jìn)行郵件通知處理配置如下：

注意：body中的內(nèi)容正是取索引watcher_alarms-時(shí)間類型為“方法耗時(shí)超過閾值報(bào)警”名稱的內(nèi)容

最后編輯于：2018.10.21 19:51:48

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者

人面猴
序言：七十年代末，一起剝皮案震驚了整個(gè)濱河市肚邢，隨后出現(xiàn)的幾起案子壹堰，更是在濱河造成了極大的恐慌，老刑警劉巖，帶你破解...
沈念sama閱讀 219,270評論 6贊 508
死咒
序言：濱河連續(xù)發(fā)生了三起死亡事件缀旁，死亡現(xiàn)場離奇詭異记劈，居然都是意外死亡，警方通過查閱死者的電腦和手機(jī)并巍，發(fā)現(xiàn)死者居然都...
沈念sama閱讀 93,489評論 3贊 395
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進(jìn)店門目木，熙熙樓的掌柜王于貴愁眉苦臉地迎上來，“玉大人懊渡，你說我怎么就攤上這事刽射。” “怎么了剃执？”我有些...
開封第一講書人閱讀 165,630評論 0贊 356
道士緝兇錄：失蹤的賣姜人
文/不壞的土叔我叫張陵誓禁，是天一觀的道長。經(jīng)常有香客問我肾档，道長摹恰，這世上最難降的妖魔是什么？我笑而不...
開封第一講書人閱讀 58,906評論 1贊 295
?港島之戀（遺憾婚禮）
正文為了忘掉前任怒见，我火速辦了婚禮俗慈，結(jié)果婚禮上，老公的妹妹穿的比我還像新娘遣耍。我一直安慰自己闺阱，他們只是感情好，可當(dāng)我...
茶點(diǎn)故事閱讀 67,928評論 6贊 392
惡毒庶女頂嫁案：這布局不是一般人想出來的
文/花漫我一把揭開白布舵变。她就那樣靜靜地躺著酣溃，像睡著了一般。火紅的嫁衣襯著肌膚如雪纪隙。梳的紋絲不亂的頭發(fā)上赊豌，一...
開封第一講書人閱讀 51,718評論 1贊 305
城市分裂傳說
那天，我揣著相機(jī)與錄音绵咱，去河邊找鬼亿絮。笑死，一個(gè)胖子當(dāng)著我的面吹牛麸拄，可吹牛的內(nèi)容都是我干的。我是一名探鬼主播黔姜，決...
沈念sama閱讀 40,442評論 3贊 420
雙鴛鴦連環(huán)套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開眼拢切，長吁一口氣：“原來是場噩夢啊……” “哼！你這毒婦竟也來了秆吵？” 一聲冷哼從身側(cè)響起淮椰，我...
開封第一講書人閱讀 39,345評論 0贊 276
萬榮殺人案實(shí)錄
序言：老撾萬榮一對情侶失蹤，失蹤者是張志新（化名）和其女友劉穎，沒想到半個(gè)月后主穗，有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體泻拦，經(jīng)...
沈念sama閱讀 45,802評論 1贊 317
?護(hù)林員之死
正文獨(dú)居荒郊野嶺守林人離奇死亡，尸身上長有42處帶血的膿包…… 初始之章·張勛以下內(nèi)容為張勛視角年9月15日...
茶點(diǎn)故事閱讀 37,984評論 3贊 337
?白月光啟示錄
正文我和宋清朗相戀三年忽媒，在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了争拐。大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
茶點(diǎn)故事閱讀 40,117評論 1贊 351
活死人
序言：一個(gè)原本活蹦亂跳的男人離奇死亡晦雨，死狀恐怖架曹，靈堂內(nèi)的尸體忽然破棺而出，到底是詐尸還是另有隱情闹瞧，我是刑警寧澤绑雄，帶...
沈念sama閱讀 35,810評論 5贊 346
?日本核電站爆炸內(nèi)幕
正文年R本政府宣布，位于F島的核電站奥邮，受9級特大地震影響万牺，放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜洽腺，卻給世界環(huán)境...
茶點(diǎn)故事閱讀 41,462評論 3贊 331
男人毒藥：我在死后第九天來索命
文/蒙蒙一脚粟、第九天我趴在偏房一處隱蔽的房頂上張望。院中可真熱鬧已脓，春花似錦珊楼、人聲如沸。這莊子的主人今日做“春日...
開封第一講書人閱讀 32,011評論 0贊 22
一樁弒父案厕宗，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽。三九已至堕担，卻和暖如春已慢，著一層夾襖步出監(jiān)牢的瞬間，已是汗流浹背霹购。一陣腳步聲響...
開封第一講書人閱讀 33,139評論 1贊 272
情欲美人皮
我被黑心中介騙來泰國打工佑惠，沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留，地道東北人齐疙。一個(gè)月前我還...
沈念sama閱讀 48,377評論 3贊 373
代替公主和親
正文我出身青樓膜楷，卻偏偏與公主長得像，于是被迫代替她去往敵國和親贞奋。傳聞我的和親對象是個(gè)殘疾皇子赌厅，可洞房花燭夜當(dāng)晚...
茶點(diǎn)故事閱讀 45,060評論 2贊 355

elk日志大盤顯示和日志監(jiān)控報(bào)警配置實(shí)踐

1. Logstash

1.1具體內(nèi)容詳解

1.2使用整體配置

1.2.1項(xiàng)目工程中的配置

1.2.2 日志發(fā)送到elasticsearch配置

2. Elastic search

2.1具體內(nèi)容詳解

2.2 elasticsearch head介紹

2.3 searchguard 插件

2.4 script field

2.5 painless 腳本

3.Kibana

3.1 具體內(nèi)容詳解

3.2 searchguard 插件

3.3 sentinl 郵件報(bào)警插件

4.日志監(jiān)控大盤配置

4.1 kibana日志搜索基本用法

4.2 增加索引scriptfield

4.3 Visualize配置

4.4 Dashboard大盤配置

5. 監(jiān)控郵件報(bào)警sentinl配置

5.1 新增watcher配置

5.1.1 Input過濾：

5.1.2 Condition配置：

5.1.3 Actions配置：

推薦閱讀更多精彩內(nèi)容