開源實(shí)時(shí)日志分析ELK平臺部署
日志主要包括系統(tǒng)日志奋岁、應(yīng)用程序日志和安全日志思瘟。系統(tǒng)運(yùn)維和開發(fā)人員可以通過日志了解服務(wù)器軟硬件信息、檢查配置過程中的錯(cuò)誤及錯(cuò)誤發(fā)生的原因闻伶。經(jīng)常分析日志可以了解服務(wù)器的負(fù)荷滨攻，性能安全性，從而及時(shí)采取措施糾正錯(cuò)誤蓝翰。
通常光绕，日志被分散的儲(chǔ)存不同的設(shè)備上。如果你管理數(shù)十上百臺服務(wù)器畜份，你還在使用依次登錄每臺機(jī)器的傳統(tǒng)方法查閱日志诞帐。這樣是不是感覺很繁瑣和效率低下。當(dāng)務(wù)之急我們使用集中化的日志管理爆雹，例如：開源的syslog停蕉，將所有服務(wù)器上的日志收集匯總。
集中化管理日志后顶别，日志的統(tǒng)計(jì)和檢索又成為一件比較麻煩的事情谷徙，一般我們使用grep、awk和wc等Linux命令能實(shí)現(xiàn)檢索和統(tǒng)計(jì)驯绎，但是對于要求更高的查詢完慧、排序和統(tǒng)計(jì)等要求和龐大的機(jī)器數(shù)量依然使用這樣的方法難免有點(diǎn)力不從心。
開源實(shí)時(shí)日志分析ELK平臺能夠完美的解決我們上述的問題剩失，ELK由ElasticSearch屈尼、Logstash和Kiabana三個(gè)開源工具組成册着。官方網(wǎng)站：https://www.elastic.co/products
lElasticsearch是個(gè)開源分布式搜索引擎，它的特點(diǎn)有：分布式脾歧，零配置甲捏，自動(dòng)發(fā)現(xiàn)，索引自動(dòng)分片鞭执，索引副本機(jī)制司顿，restful風(fēng)格接口，多數(shù)據(jù)源兄纺，自動(dòng)搜索負(fù)載等大溜。
lLogstash是一個(gè)完全開源的工具，他可以對你的日志進(jìn)行收集估脆、分析钦奋，并將其存儲(chǔ)供以后使用（如，搜索）疙赠。
lkibana也是一個(gè)開源和免費(fèi)的工具付材，他Kibana可以為Logstash和ElasticSearch提供的日志分析友好的Web界面，可以幫助您匯總圃阳、分析和搜索重要數(shù)據(jù)日志厌衔。
工作原理如下如所示：
在需要收集日志的所有服務(wù)上部署logstash，作為logstash agent（logstash shipper）用于監(jiān)控并過濾收集日志限佩，將過濾后的內(nèi)容發(fā)送到logstash indexer葵诈，logstash indexer將日志收集在一起交給全文搜索服務(wù)ElasticSearch，可以用ElasticSearch進(jìn)行自定義搜索通過Kibana來結(jié)合自定義搜索進(jìn)行頁面展示祟同。
開源實(shí)時(shí)日志分析ELK平臺部署流程：
（1）安裝Logstash依賴包JDK
Logstash的運(yùn)行依賴于Java運(yùn)行環(huán)境，Logstash 1.5以上版本不低于java 7推薦使用最新版本的Java理疙。由于我們只是運(yùn)行Java程序晕城，而不是開發(fā)，下載JRE即可窖贤。首先砖顷，在Oracle官方下載新版jre，下載地址：http://www.oracle.com/technetwork/java/javase/downloads/jre8-downloads-2133155.html
可以看到提供了多種版本赃梧，下載時(shí)滤蝠，選擇適合自己機(jī)器運(yùn)行環(huán)境的版本，我使用的是RHEL6.5 x86_64的操作系統(tǒng)授嘀，所以物咳，下載linux-64的版本。如果使用Linux下載執(zhí)行如下命令下載即可蹄皱。
1
#wget?http://download.oracle.com/otn-pub/java/jdk/8u45-b14/jdk-8u45-linux-x64.tar.gz
JDK的安裝方式比較簡單览闰，只需將下載回來的程序包解壓到相應(yīng)的目錄即可芯肤。
1
2#?mkdir?/usr/local/java
#?tar?-zxf?jdk-8u45-linux-x64.tar.gz?-C?/usr/local/java/
設(shè)置JDK的環(huán)境變量，如下：
1
2
3
4#?tail?-3?~/.bash_profile
export?JAVA_HOME=/usr/local/java/jdk1.8.0_45
export?PATH=$PATH:$JAVA_HOME/bin
exportCLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$CLASSPATH
在Shell提示符中執(zhí)行java –version命令压鉴，顯示如下結(jié)果崖咨，說明安裝成功：
1
2
3
4#?java?-version
java?version?"1.8.0_45"
Java(TM)?SE?Runtime?Environment?(build?1.8.0_45-b14)
Java?HotSpot(TM)?64-Bit?Server?VM?(build?25.45-b02,mixed?mode)
（2）安裝Logstash
下載并安裝Logstash，安裝logstash只需將它解壓的對應(yīng)目錄即可油吭，例如：/usr/local下：
1
2#?https://download.elastic.co/logstash/logstash/logstash-1.5.2.tar.gz
#?tar?–zxf?logstash-1.5.2.tar.gz?-C?/usr/local/
安裝完成后運(yùn)行如下命令：
1
2
3
4#?/usr/local/logstash-1.5.2/bin/logstash?-e?'input?{?stdin?{?}?}?output?{?stdout?{}?}'
Logstash?startup?completed
Hello?World!
2015-07-15T03:28:56.938Z?noc.vfast.com?Hello?World!
我們可以看到击蹲，我們輸入什么內(nèi)容logstash按照某種格式輸出，其中-e參數(shù)參數(shù)允許Logstash直接通過命令行接受設(shè)置婉宰。這點(diǎn)尤其快速的幫助我們反復(fù)的測試配置是否正確而不用寫配置文件际邻。使用CTRL-C命令可以退出之前運(yùn)行的Logstash。
使用-e參數(shù)在命令行中指定配置是很常用的方式芍阎，不過如果需要配置更多設(shè)置則需要很長的內(nèi)容世曾。這種情況，我們首先創(chuàng)建一個(gè)簡單的配置文件谴咸，并且指定logstash使用這個(gè)配置文件轮听。例如：在logstash安裝目錄下創(chuàng)建一個(gè)“基本配置”測試文件logstash-test.conf，文件內(nèi)容如下：
1
2
3
4
5#?cat?logstash-simple.conf
input?{?stdin?{?}?}
output?{
stdout?{?codec=>?rubydebug?}
}
Logstash使用input和output定義收集日志時(shí)的輸入和輸出的相關(guān)配置岭佳，本例中input定義了一個(gè)叫"stdin"的input血巍，output定義一個(gè)叫"stdout"的output。無論我們輸入什么字符珊随，Logstash都會(huì)按照某種格式來返回我們輸入的字符述寡，其中output被定義為"stdout"并使用了codec參數(shù)來指定logstash輸出格式。
使用logstash的-f參數(shù)來讀取配置文件叶洞，執(zhí)行如下開始進(jìn)行測試：
1
2
3
4
5
6
7
8
9
10
11#?echo?"`date`??hello?World"
Thu?Jul?16?04:06:48?CST?2015?hello?World
#?/usr/local/logstash-1.5.2/bin/logstash?agent?-f?logstash-simple.conf
Logstash?startup?completed
Tue?Jul?14?18:07:07?EDT?2015?hello?World???#該行是執(zhí)行echo?“`date`hello?World”?后輸出的結(jié)果鲫凶，直接粘貼到該位置
{
"message"?=>?"Tue?Jul?14?18:07:07?EDT?2015?helloWorld",
"@version"?=>?"1",
"@timestamp"?=>?"2015-07-14T22:07:28.284Z",
"host"?=>?"noc.vfast.com"
}
（3）安裝Elasticsearch
下載Elasticsearch后，解壓到對應(yīng)的目錄就完成Elasticsearch的安裝衩辟。
1
#?tar?-zxf?elasticsearch-1.6.0.tar.gz?-C?/usr/local/
啟動(dòng)Elasticsearch
1
#?/usr/local/elasticsearch-1.6.0/bin/elasticsearch
如果使用遠(yuǎn)程連接的Linux的方式并想后臺運(yùn)行elasticsearch執(zhí)行如下命令：
1
#?nohup?/usr/local/elasticsearch-1.6.0/bin/elasticsearch?>nohup?&
確認(rèn)elasticsearch的9200端口已監(jiān)聽螟炫，說明elasticsearch已成功運(yùn)行
1
2#?netstat?-anp?|grep?:9200
tcp????????0??????0?:::9200?????????????????????:::*????????????????????????LISTEN??????3362/java
接下來我們在logstash安裝目錄下創(chuàng)建一個(gè)用于測試logstash使用elasticsearch作為logstash的后端的測試文件logstash-es-simple.conf，該文件中定義了stdout和elasticsearch作為output艺晴，這樣的“多重輸出”即保證輸出結(jié)果顯示到屏幕上昼钻，同時(shí)也輸出到elastisearch中。
1
2
3
4
5
6#?cat?logstash-es-simple.conf
input?{?stdin?{?}?}
output?{
elasticsearch?{host?=>?"localhost"?}
stdout?{?codec=>?rubydebug?}
}
執(zhí)行如下命令
1
2
3
4
5
6
7
8
9
10#?/usr/local/logstash-1.5.2/bin/logstash?agent?-f?logstash-es-simple.conf
…?…
Logstash?startup?completed
hello?logstash
{
"message"?=>?"hello?logstash",
"@version"?=>?"1",
"@timestamp"?=>?"2015-07-15T18:12:00.450Z",
"host"?=>?"noc.vfast.com"
}
我們可以使用curl命令發(fā)送請求來查看ES是否接收到了數(shù)據(jù)：
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22#?curl?'http://localhost:9200/_search?pretty'
返回結(jié)果
{
"took":?58,
"timed_out"?:?false,
"_shards"?:?{
"total"?:?5,
"successful"?:?5,
"failed"?:?0
},
"hits":?{
"total"?:?1,
"max_score"?:?1.0,
"hits"?:?[?{
"_index"?:?"logstash-2015.07.15",
"_type"?:?"logs",
"_id"?:?"AU6TWiixxDXYhySMyTkP",
"_score"?:?1.0,
"_source":{"message":"hellologstash","@version":"1","@timestamp":"2015-07-15T20:13:55.199Z","host":"noc.vfast.com"}
}?]
}
}
至此封寞，你已經(jīng)成功利用Elasticsearch和Logstash來收集日志數(shù)據(jù)了然评。
（4）安裝elasticsearch插件
Elasticsearch-kopf插件可以查詢Elasticsearch中的數(shù)據(jù)，安裝elasticsearch-kopf狈究，只要在你安裝Elasticsearch的目錄中執(zhí)行以下命令即可：
1
2#?cd?/usr/local/elasticsearch-1.6.0/
#?./plugin?-install?lmenezes/elasticsearch-kopf
安裝完成后在plugins目錄下可以看到kopf
1
2#?ls?plugins/
kopf
在瀏覽器訪問http://10.1.1.188:9200/_plugin/kopf瀏覽保存在Elasticsearch中的數(shù)據(jù)碗淌，如下所示：
（5）安裝Kibana
下載kibana后，解壓到對應(yīng)的目錄就完成kibana的安裝
1
#?tar?-zxf?kibana-4.1.1-linux-x64.tar.gz?-C?/usr/local/
啟動(dòng)kibana
1
#?/usr/local/kibana-4.1.1-linux-x64/bin/kibana
使用http://kibanaServerIP：5601訪問Kibana，登錄后贯莺，首先风喇，配置一個(gè)索引，默認(rèn)缕探，Kibana的數(shù)據(jù)被指向Elasticsearch魂莫，使用默認(rèn)的logstash-*的索引名稱，并且是基于時(shí)間的爹耗，點(diǎn)擊“Create”即可耙考。
看到如下界面說明索引創(chuàng)建完成。
點(diǎn)擊“Discover”潭兽，可以搜索和瀏覽Elasticsearch中的數(shù)據(jù)倦始，默認(rèn)搜索的是最近15分鐘的數(shù)據(jù)∩截裕可以自定義選擇時(shí)間鞋邑。
到此，說明你的ELK平臺安裝部署完成账蓉。
（6）配置logstash作為Indexer
將logstash配置為索引器枚碗，并將logstash的日志數(shù)據(jù)存儲(chǔ)到Elasticsearch，本范例主要是索引本地系統(tǒng)日志铸本。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16#?cat?/usr/local/logstash-1.5.2/logstash-indexer.conf
input?{
file?{
type?=>"syslog"
path?=>?["/var/log/messages",?"/var/log/syslog"?]
}
syslog?{
type?=>"syslog"
port?=>"5544"
}
}
output?{
stdout?{?codec=>?rubydebug?}
elasticsearch?{host?=>?"localhost"?}
}
#?/usr/local/logstash-1.5.2/bin/logstash?-flogstash-indexer.conf
使用echo命令模擬寫入日志肮雨，命令執(zhí)行后看到如下圖的信息
1
#?echo?"`date`?優(yōu)衣庫視頻"?>>/var/log/messages
刷新kibana，發(fā)現(xiàn)最新的測試數(shù)據(jù)顯示到瀏覽器中箱玷，如下圖所示：
到此怨规，ELK平臺部署和基本的測試已完成。
