前言
logstash
通過(guò)配置文件把收集到的日志文件械姻,通過(guò)正則匹配分析妒蛇,發(fā)送到es
服務(wù)器構(gòu)建索引,并通過(guò)Kibana
展示
目錄
- Logstash正則構(gòu)建
- 查詢語(yǔ)句
- 量化分析
Visualize
- 儀表盤(pán)
Dashboard
Logstash正則
在logstash
目錄 mkdir patterns
# contents of ./patterns/postfix:
STR [a-zA-Z]{1,}
input {
file {
type => "order_shenghuojiaofei"
path => "/Users/liuxin/rabbitmql_pro.log"
}
}
filter {
grok {
patterns_dir => ["./patterns"]
match => { "message" => "%{STR:logLevel} %{STR:packName}.%{STR:thread}.%{STR:className} %{STR:date}" }
}
}
output {
elasticsearch {
hosts => "127.0.0.1:9200"
index => "order_shenghuojiaofei-%{type}-%{+YYYY.MM.dd}"
template_overwrite => true
}
}
啟動(dòng)
logstash -f pro.conf
查詢語(yǔ)句
I. 字段查詢(可以使用通配符*或?)
field:value 例:city:Keyport*楷拳, age:26
II. 范圍查詢
age:[20 TO 30] age:{20 TO 30}
注:[ ] 表示端點(diǎn)數(shù)值包含在范圍內(nèi)绣夺,{ } 表示端點(diǎn)數(shù)值不包含在范圍內(nèi)
III. 邏輯操作
AND OR 例子:firstname:H* AND age:20 firstname:H* OR age:20
+ :搜索結(jié)果中必須包含此項(xiàng)
- :不能含有此項(xiàng)
例: +firstname:H* -age:20 city:H* firstname字段結(jié)果中必須存在H開(kāi)頭的,不能有年齡是20的欢揖,city字段H開(kāi)頭的可有可無(wú)
VI. 分組查詢
分組
(firstname:H* OR age:20) AND state:KS 先查詢名字H開(kāi)頭年齡或者是20的結(jié)果陶耍,然后再與國(guó)家是KS的結(jié)合
字段分組
firstname:(+H* -He*) 搜索firstname字段里H開(kāi)頭的結(jié)果,并且排除firstname里He開(kāi)頭的結(jié)果
量化分析
點(diǎn)擊發(fā)現(xiàn) Discover
輸入查詢條件 鼠標(biāo)放置在字段上會(huì)添加展示改字段
儀表盤(pán)
Visualize
生成的報(bào)表信息她混,可以保存烈钞,放置在儀表盤(pán)里面展示