sprinboot整合elk,搭建實時日志平臺

這篇文章主要介紹springboot整合elk.

elk 簡介

  • Elasticsearch是個開源分布式搜索引擎献酗,它的特點有:分布式寝受,零配置,自動發(fā)現(xiàn)罕偎,索引自動分片很澄,索引副本機制,restful風格接口,多數(shù)據(jù)源甩苛,自動搜索負載等蹂楣。

  • Logstash是一個完全開源的工具,他可以對你的日志進行收集讯蒲、過濾痊土,并將其存儲供以后使用(如,搜索)墨林。

  • Kibana 也是一個開源和免費的工具赁酝,它Kibana可以為 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以幫助您匯總旭等、分析和搜索重要數(shù)據(jù)日志酌呆。

elk下載安裝

elk下載地址:https://www.elastic.co/downloads/

建議在 linux上運行,elk在windows上支持得不好搔耕,另外需要jdk1.8 的支持隙袁,需要提前安裝好jdk.

下載完之后: 安裝,以logstash為栗子:

cd /usr/local/

mkdir logstash

tar -zxvf logstash-5.3.2.tar.gz

mv logstash-5.3.2 /usr/local/logstash

配置弃榨、啟動 Elasticsearch

打開Elasticsearch的配置文件:

vim config/elasticsearch.yml

修改配置:

network.host=localhost
network.port=9200

它默認就是這個配置菩收,沒有特殊要求,在本地不需要修改惭墓。

啟動Elasticsearch

./bin/elasticsearch

啟動成功坛梁,訪問localhost:9200,網(wǎng)頁顯示:

{
  "name" : "56IrTCM",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "e4ja7vS2TIKI1BsggEAa6Q",
  "version" : {
    "number" : "5.2.2",
    "build_hash" : "f9d9b74",
    "build_date" : "2017-02-24T17:26:45.835Z",
    "build_snapshot" : false,
    "lucene_version" : "6.4.1"
  },
  "tagline" : "You Know, for Search"
}

配置、啟動 logstash

在 logstash的主目錄下:

vim config/log4j_to_es.conf 

修改 log4j_to_es.conf 如下:

input {
  log4j {
    mode => "server"
    host => "localhost"
    port => 4560
  }
}
filter {
  #Only matched data are send to output.
}
output {
    elasticsearch {
    action => "index"          #The operation on ES
    hosts  => "localhost:9200"   #ElasticSearch host, can be array.
    index  => "applog"         #The index to write data to.
  }
}

修改完配置后啟動:

./bin/logstash -f config/log4j_to_es.conf 

終端顯示如下:

image.png

訪問localhost:9600

{"host":"Pc-20130412.local","version":"5.3.2","http_address":"127.0.0.1:9600","id":"e6bb985c-c688-49a4-
a55b-4d362bb4136f","name":"Pc-20130412.local","build_date":
"2017-04-24T16:32:22Z","build_sha":"242159a5eea55fe213fe5c8
52d36455e24252c82","build_snapshot":false}

證明logstash啟動成功腊凶。

配置划咐、啟動kibana

到kibana的安裝目錄:

./bin/kibana 

默認配置即可。

訪問localhost:5601钧萍,網(wǎng)頁顯示:

image.png

證明啟動成功褐缠。

創(chuàng)建springboot工程

起步依賴如下:

<dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter</artifactId>
            <exclusions>
                <exclusion>
                    <groupId>org.springframework.boot</groupId>
                    <artifactId>spring-boot-starter-logging</artifactId>
                </exclusion>
            </exclusions>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-log4j</artifactId>
            <version>1.3.8.RELEASE</version>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>


    </dependencies>

log4j的配置,/src/resources/log4j.properties如下:


log4j.rootLogger=INFO,console

# for package com.demo.elk, log would be sent to socket appender.
log4j.logger.com.forezp=DEBUG, socket

# appender socket
log4j.appender.socket=org.apache.log4j.net.SocketAppender
log4j.appender.socket.Port=4560
log4j.appender.socket.RemoteHost=localhost
log4j.appender.socket.layout=org.apache.log4j.PatternLayout
log4j.appender.socket.layout.ConversionPattern=%d [%-5p] [%l] %m%n
log4j.appender.socket.ReconnectionDelay=10000

# appender console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.out
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d [%-5p] [%l] %m%n

打印log測試:

@RunWith(SpringRunner.class)
@SpringBootTest
public class SpringbootElkApplicationTests {

    @Test
    public void contextLoads() {
    }

    private Logger logger = Logger.getLogger(getClass());

    @Test
    public void test() throws Exception {

        for(int i=0;i<100;i++) {
            logger.info("輸出info  ");
            logger.debug("輸出debug+skkkw嗡嗡嗡kw");
            logger.error("輸出error  嗡嗡嗡我");
        }
    }


}

在kibana 實時監(jiān)控日志

打開localhost:5601:

Management=>index pattrns=>add new:

image.png

點擊discovery:

image.png

參考資料

https://my.oschina.net/itblog/blog/547250

源碼下載

https://github.com/forezp/SpringBootLearning

優(yōu)秀文章推薦:

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
  • 序言:七十年代末风瘦,一起剝皮案震驚了整個濱河市队魏,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌万搔,老刑警劉巖胡桨,帶你破解...
    沈念sama閱讀 212,542評論 6 493
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異瞬雹,居然都是意外死亡昧谊,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,596評論 3 385
  • 文/潘曉璐 我一進店門酗捌,熙熙樓的掌柜王于貴愁眉苦臉地迎上來呢诬,“玉大人涌哲,你說我怎么就攤上這事∩辛” “怎么了阀圾?”我有些...
    開封第一講書人閱讀 158,021評論 0 348
  • 文/不壞的土叔 我叫張陵,是天一觀的道長狗唉。 經(jīng)常有香客問我初烘,道長,這世上最難降的妖魔是什么敞曹? 我笑而不...
    開封第一講書人閱讀 56,682評論 1 284
  • 正文 為了忘掉前任账月,我火速辦了婚禮综膀,結果婚禮上澳迫,老公的妹妹穿的比我還像新娘。我一直安慰自己剧劝,他們只是感情好橄登,可當我...
    茶點故事閱讀 65,792評論 6 386
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著讥此,像睡著了一般拢锹。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上萄喳,一...
    開封第一講書人閱讀 49,985評論 1 291
  • 那天卒稳,我揣著相機與錄音,去河邊找鬼他巨。 笑死充坑,一個胖子當著我的面吹牛,可吹牛的內容都是我干的染突。 我是一名探鬼主播捻爷,決...
    沈念sama閱讀 39,107評論 3 410
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼份企!你這毒婦竟也來了也榄?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 37,845評論 0 268
  • 序言:老撾萬榮一對情侶失蹤司志,失蹤者是張志新(化名)和其女友劉穎甜紫,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體骂远,經(jīng)...
    沈念sama閱讀 44,299評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡囚霸,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 36,612評論 2 327
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了吧史。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片邮辽。...
    茶點故事閱讀 38,747評論 1 341
  • 序言:一個原本活蹦亂跳的男人離奇死亡唠雕,死狀恐怖,靈堂內的尸體忽然破棺而出吨述,到底是詐尸還是另有隱情岩睁,我是刑警寧澤,帶...
    沈念sama閱讀 34,441評論 4 333
  • 正文 年R本政府宣布揣云,位于F島的核電站捕儒,受9級特大地震影響,放射性物質發(fā)生泄漏邓夕。R本人自食惡果不足惜刘莹,卻給世界環(huán)境...
    茶點故事閱讀 40,072評論 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望焚刚。 院中可真熱鬧点弯,春花似錦、人聲如沸矿咕。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,828評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽碳柱。三九已至捡絮,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間莲镣,已是汗流浹背福稳。 一陣腳步聲響...
    開封第一講書人閱讀 32,069評論 1 267
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留瑞侮,地道東北人的圆。 一個月前我還...
    沈念sama閱讀 46,545評論 2 362
  • 正文 我出身青樓,卻偏偏與公主長得像区岗,于是被迫代替她去往敵國和親略板。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 43,658評論 2 350

推薦閱讀更多精彩內容