Elasticsearch 系列文章(五):ELK 實時日志分析平臺環(huán)境搭建

mark

簡單介紹

ELK(ElasticSearch, Logstash, Kibana)爵卒,三者組合在一起搭建實時的日志分析平臺地消,目前好多公司都是這套废赞!

  • Elasticsearch 是個開源分布式搜索引擎虎眨,它的特點(diǎn)有:分布式弟劲,零配置祷安,自動發(fā)現(xiàn),索引自動分片兔乞,索引副本機(jī)制汇鞭,restful 風(fēng)格接口,多數(shù)據(jù)源庸追,自動搜索負(fù)載等霍骄。
  • Logstash 是一個完全開源的工具,他可以對你的日志進(jìn)行收集淡溯、過濾读整,并將其存儲供以后使用(如,搜索)咱娶。
  • Kibana 也是一個開源和免費(fèi)的工具米间,它 Kibana 可以為 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以幫助您匯總豺总、分析和搜索重要數(shù)據(jù)日志车伞。

安裝 ES

。喻喳。另玖。這個省略,不 bb 了表伦,以前寫過谦去。。蹦哼。傳送門:http://www.54tianzhisheng.cn/2017/09/09/Elasticsearch-install/

安裝 Logstash

ELK 整套環(huán)境搭建版本很關(guān)鍵鳄哭,最好全統(tǒng)一一個版本,否則出啥問題就不太好找了纲熏。這是我見過版本統(tǒng)一最嚴(yán)格的了妆丘。而已 ES 版本升了后,其他的都要都要升級局劲,包括其插件勺拣。升級代價挺大的,最好一開始就定位好要安裝哪個版本鱼填!

在官網(wǎng)下好安裝包后傳到 Linux 上药有,這是速度最快的。

在 /usr/local 目錄下解壓:

tar -zxvf  logstash-5.5.2.tar.gz

進(jìn)入解壓后的目錄:

cd /usr/local/logstash-5.5.2/bin

新增配置文件:

vim logstash.conf

增加:

input{
    file{
      path => ["/var/log/*.log"]
    }
}

output{
   elasticsearch{
       hosts => ["192.168.153.135:9200"]
       index => "logstash__log"
  }
}

Logstash 的啟動方式是:

在 /usr/local/logstash-5.5.2/bin 目錄下運(yùn)行:

./logstash -f logstash.conf

安裝 Kibana

同樣,官網(wǎng)下好安裝包愤惰,上傳到 Linux苇经。

解壓:

tar -zxvf kibana-5.5.2-linux-x86_64.tar.gz

修改配置文件 kibana-5.5.2/config/kibana.yml 如下:

Server.host  //配置機(jī)器ip/hostname

Server.name  //此kibana服務(wù)的名稱

elasticsearch.url  //es master節(jié)點(diǎn)url

Kibana 啟動方式:

在 /usr/local/kibana-5.5.2/bin 目錄下運(yùn)行:

./kibana

Web界面訪問: http://ip:5601 此時需要輸入用戶名和密碼登錄,默認(rèn)分別是 elastic 和 changeme

X-Pack

X-Pack 是一個 Elastic Stack 的擴(kuò)展,將安全宦言,警報扇单,監(jiān)控,報告和圖形功能包含在一個易于安裝的軟件包中奠旺。

ES 和 Kibana 都可安裝令花。

插件 x-pack-5.5.2.zip 依舊官網(wǎng)下。

ES 安裝 X-Pack

cd /usr/local/elasticsearch/bin

./elasticsearch-plugin install file:///opt/es/x-pack-5.5.2.zip

如果成功:顯示如下

[root@node1 bin]# ./elasticsearch-plugin install file:///opt/es/x-pack-5.5.2.zip
-> Downloading file:///opt/es/x-pack-5.5.2.zip
[=================================================] 100%
@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@     WARNING: plugin requires additional permissions     @
@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
* java.io.FilePermission \\.\pipe\* read,write
* java.lang.RuntimePermission accessClassInPackage.com.sun.activation.registries
* java.lang.RuntimePermission getClassLoader
* java.lang.RuntimePermission setContextClassLoader
* java.lang.RuntimePermission setFactory
* java.security.SecurityPermission createPolicy.JavaPolicy
* java.security.SecurityPermission getPolicy
* java.security.SecurityPermission putProviderProperty.BC
* java.security.SecurityPermission setPolicy
* java.util.PropertyPermission * read,write
* java.util.PropertyPermission sun.nio.ch.bugLevel write
* javax.net.ssl.SSLPermission setHostnameVerifier
See http://docs.oracle.com/javase/8/docs/technotes/guides/security/permissions.html
for descriptions of what these permissions allow and the associated risks.

Continue with installation? [y/N]y
@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@        WARNING: plugin forks a native controller        @
@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
This plugin launches a native controller that is not subject to the Java
security manager nor to system call filters.

Continue with installation? [y/N]y
-> Installed x-pack

Kibana 安裝 X-Pack

cd /usr/local/kibana-5.5.2/bin

./kibana-plugin install file:///opt/es/x-pack-5.5.2.zip

安裝成功如下:

[root@node1 bin]# ./kibana-plugin install file:///opt/es/x-pack-5.5.2.zip
Attempting to transfer from file:///opt/es/x-pack-5.5.2.zip
Transferring 159867054 bytes....................
Transfer complete
Retrieving metadata from plugin archive
Extracting plugin archive
Extraction complete
Optimizing and caching browser bundles...
Plugin installation complete

啟用 x-pack 安全機(jī)制

分別在 kibana.yml 和 elasticsearch.yml 中加入下行

xpack.security.enabled: true

這樣后凉倚,你再打開 ES 的 head 界面和 Kibana 管理界面就需要輸入賬號密碼了兼都。

mark

上圖右邊是安裝 X-Pack 后的,功能多了幾個稽寒。

最后

環(huán)境搭建很簡單扮碧,后面如果有時間的話可以再講講在 Kibana 的 Dev Tools 上構(gòu)建 ES 的 JSON 串來對 ES 進(jìn)行操作。

我還寫過 ES 相關(guān)的文章:

1杏糙、Elasticsearch 默認(rèn)分詞器和中分分詞器之間的比較及使用方法

2慎王、全文搜索引擎 Elasticsearch 集群搭建入門教程

3、ElasticSearch 集群監(jiān)控

4宏侍、ElasticSearch 單個節(jié)點(diǎn)監(jiān)控

結(jié)尾

本文首發(fā)于:zhisheng 的博客

轉(zhuǎn)載請注明地址:http://www.54tianzhisheng.cn/2017/12/25/ELK/

image
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末赖淤,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子谅河,更是在濱河造成了極大的恐慌咱旱,老刑警劉巖,帶你破解...
    沈念sama閱讀 216,372評論 6 498
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件绷耍,死亡現(xiàn)場離奇詭異吐限,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)褂始,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,368評論 3 392
  • 文/潘曉璐 我一進(jìn)店門诸典,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人崎苗,你說我怎么就攤上這事狐粱。” “怎么了胆数?”我有些...
    開封第一講書人閱讀 162,415評論 0 353
  • 文/不壞的土叔 我叫張陵肌蜻,是天一觀的道長。 經(jīng)常有香客問我幅慌,道長宋欺,這世上最難降的妖魔是什么轰豆? 我笑而不...
    開封第一講書人閱讀 58,157評論 1 292
  • 正文 為了忘掉前任胰伍,我火速辦了婚禮齿诞,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘骂租。我一直安慰自己祷杈,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,171評論 6 388
  • 文/花漫 我一把揭開白布渗饮。 她就那樣靜靜地躺著但汞,像睡著了一般。 火紅的嫁衣襯著肌膚如雪互站。 梳的紋絲不亂的頭發(fā)上私蕾,一...
    開封第一講書人閱讀 51,125評論 1 297
  • 那天,我揣著相機(jī)與錄音胡桃,去河邊找鬼踩叭。 笑死,一個胖子當(dāng)著我的面吹牛翠胰,可吹牛的內(nèi)容都是我干的容贝。 我是一名探鬼主播,決...
    沈念sama閱讀 40,028評論 3 417
  • 文/蒼蘭香墨 我猛地睜開眼之景,長吁一口氣:“原來是場噩夢啊……” “哼斤富!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起锻狗,我...
    開封第一講書人閱讀 38,887評論 0 274
  • 序言:老撾萬榮一對情侶失蹤满力,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后轻纪,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體脚囊,經(jīng)...
    沈念sama閱讀 45,310評論 1 310
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,533評論 2 332
  • 正文 我和宋清朗相戀三年桐磁,在試婚紗的時候發(fā)現(xiàn)自己被綠了悔耘。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 39,690評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡我擂,死狀恐怖衬以,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情校摩,我是刑警寧澤看峻,帶...
    沈念sama閱讀 35,411評論 5 343
  • 正文 年R本政府宣布,位于F島的核電站衙吩,受9級特大地震影響互妓,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,004評論 3 325
  • 文/蒙蒙 一冯勉、第九天 我趴在偏房一處隱蔽的房頂上張望澈蚌。 院中可真熱鬧,春花似錦灼狰、人聲如沸宛瞄。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,659評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽份汗。三九已至,卻和暖如春蝴簇,著一層夾襖步出監(jiān)牢的瞬間杯活,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 32,812評論 1 268
  • 我被黑心中介騙來泰國打工熬词, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留轩猩,地道東北人。 一個月前我還...
    沈念sama閱讀 47,693評論 2 368
  • 正文 我出身青樓荡澎,卻偏偏與公主長得像均践,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子摩幔,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,577評論 2 353

推薦閱讀更多精彩內(nèi)容