ELK日志收集框架搭建(1)——使用docker-compose搭建環(huán)境

1.簡介

ELK是Elasticsearch、Logstash幼东、Kibana的簡稱确镊,這三者是核心套件士骤。

(1)Elasticsearch是實時全文搜索和分析引擎,提供搜集蕾域、分析拷肌、存儲數(shù)據(jù)三大功能;是一套開放REST和JAVA API等結構提供高效搜索功能,可擴展的分布式系統(tǒng)巨缘。它構建于Apache Lucene搜索引擎庫之上厢绝。

(2)Logstash是一個用來搜集、分析带猴、過濾日志的工具。它支持幾乎任何類型的日志懈万,包括系統(tǒng)日志拴清、錯誤日志和自定義應用程序日志。它可以從許多來源接收日志会通,這些來源包括 syslog口予、消息傳遞(例如 RabbitMQ)和JMX,它能夠以多種方式輸出數(shù)據(jù)涕侈,包括電子郵件沪停、websockets和Elasticsearch。

(3)Kibana是一個基于Web的圖形界面裳涛,用于搜索木张、分析和可視化存儲在 Elasticsearch指標中的日志數(shù)據(jù)。它利用Elasticsearch的REST接口來檢索數(shù)據(jù)端三,不僅允許用戶創(chuàng)建他們自己的數(shù)據(jù)的定制儀表板視圖舷礼,還允許他們以特殊的方式查詢和過濾數(shù)據(jù)



2.使用docker-compose,一鍵搭建ELK環(huán)境

(1)電腦上安裝docker

? ? ? ? windows端:https://www.runoob.com/docker/windows-docker-install.html

? ? ? ? linux端:http://www.reibang.com/p/66575c930cf1

? ? ? ? 因為網(wǎng)上有很多文章講述郊闯,這邊就直接跳過了

(2)安裝docker-compose

linux運行命令:

curl -L?"https://github.com/docker/compose/releases/download/1.23.2/docker-compose-$(uname -s)-$(uname -m)"?-o /usr/local/bin/docker-compose

給docker-compose執(zhí)行權限妻献,運行命令:

chmod +x?/usr/local/bin/docker-compose

? ? 執(zhí)行后,運行docker-compose --version团赁,可以看到docker-compose的版本和docker的版本育拨,這個時候,docker-compose安裝成功欢摄。

(3)新建一個docker-compose.yml文件

? ? 在????/home/用戶名/ ? ?下新建一個docker-compose.yml文件

? ? cd /home/用戶名

? ? touch?docker-compose.yml

? ? 打開 docker-compose.yml

? ? vi? docker-compose.yml

? ? 將下面的代碼粘貼進去(注意縮進熬丧,縮進不對會報錯

version: ‘2’

services:

? elasticsearch:

? ? image: elasticsearch

? ? environment:

? ? ? - "ES_JAVA_OPTS=-Xms512m -Xmx512m"

? ? volumes:

? ? ? - /volume/elasticsearch/data:/usr/share/elasticsearch/data

? ? hostname: elasticsearch

? ? restart: always

? ? ports:

? ? ? - "9200:9200"

? ? ? - "9300:9300"

? kibana:

? ? image: kibana

? ? environment:

? ? ? - ELASTICSEARCH_URL=http://elasticsearch:9200 #elasticsearch查詢接口地址

? ? hostname: kibana

? ? depends_on:

? ? ? - elasticsearch #后于elasticsearch啟動

? ? restart: always

? ? ports: - "5601:5601"

? logstash:

? ? image: logstash

? ? command: logstash -f /etc/logstash/conf.d/logstash.conf #logstash 啟動時使用的配置文件

? ? volumes:

? ? ? - /volume/logstash/conf.d:/etc/logstash/conf.d #logstash 配文件位置

? ? ? - /volume/logst:/tmp

? ? ? - /volume/logs:/logs

? ? hostname: logstash

? ? restart: always

? ? depends_on:

? ? ? - elasticsearch #后于elasticsearch啟動

? ? ports:

? ? ? - "7001-7005:7001-7005"

? ? ? - "4560:4560"

? ? ? - "9600:9600"

保存并退出

按一下Esc,

再輸入“:wq”命令

(4)編寫 logstash 的配置文件

進入logstash映射出來的目錄

cd /volume/logstash/conf.d

打開logstash.conf(若沒有則“touch logstash.conf”創(chuàng)建一個)

vi?logstash.conf

復制下面的代碼剧浸,并保存退出

input {

????file { ? ? ? ? ? ? ? ?//若是抓取日志文件則使用這個

????????path => "/logs/*.log" ? ?//日志文件的路徑

????????type => "service-log" ? ?//存入es時的一個type字段锹引,隨便一個標識就行

????????start_position => "beginning"

????????stat_interval => "2"

????????codec => json { ?????????//若希望json格式的日志信息中的字段可以被解讀,就加上這個

????????????charset => "UTF-8" ??

????????}

????}

????tcp { ? ? ? ? ? ? ? ? ? ? ? ? //若程序直接發(fā)送消息唆香,使用這個

????????mode => "server"

????????host => "0.0.0.0"

????????port => 4560

????????codec => json_lines

????}

}

output{

????elasticsearch {

????????hosts => ["elasticsearch:9200"]

????????action => "index"

????????index => "logstash-%{+YYYY.MM.dd}"

????}

????stdout {

????????codec => rubydebug

????}

}

(5)創(chuàng)建并啟動ELK的相關容器

這步很簡單嫌变,只要在docker-compose.yml的當前目錄。

執(zhí)行docker-compose up -d就行了躬它。若報錯提示找不到文件目錄腾啥,就把提示的文件自己創(chuàng)建一下。

(6)登錄kabana查看日志信息

瀏覽器輸入 ?linux的ip:5601進入kabana的可視化界面,

創(chuàng)建一個pattern就可以看日志啦

?著作權歸作者所有,轉載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末倘待,一起剝皮案震驚了整個濱河市疮跑,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌凸舵,老刑警劉巖祖娘,帶你破解...
    沈念sama閱讀 217,277評論 6 503
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異啊奄,居然都是意外死亡渐苏,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,689評論 3 393
  • 文/潘曉璐 我一進店門菇夸,熙熙樓的掌柜王于貴愁眉苦臉地迎上來琼富,“玉大人,你說我怎么就攤上這事庄新【厦迹” “怎么了?”我有些...
    開封第一講書人閱讀 163,624評論 0 353
  • 文/不壞的土叔 我叫張陵择诈,是天一觀的道長械蹋。 經(jīng)常有香客問我,道長羞芍,這世上最難降的妖魔是什么朝蜘? 我笑而不...
    開封第一講書人閱讀 58,356評論 1 293
  • 正文 為了忘掉前任,我火速辦了婚禮涩金,結果婚禮上谱醇,老公的妹妹穿的比我還像新娘。我一直安慰自己步做,他們只是感情好副渴,可當我...
    茶點故事閱讀 67,402評論 6 392
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著全度,像睡著了一般煮剧。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上将鸵,一...
    開封第一講書人閱讀 51,292評論 1 301
  • 那天勉盅,我揣著相機與錄音,去河邊找鬼顶掉。 笑死草娜,一個胖子當著我的面吹牛,可吹牛的內(nèi)容都是我干的痒筒。 我是一名探鬼主播宰闰,決...
    沈念sama閱讀 40,135評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼茬贵,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了移袍?” 一聲冷哼從身側響起解藻,我...
    開封第一講書人閱讀 38,992評論 0 275
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎葡盗,沒想到半個月后螟左,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,429評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡觅够,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,636評論 3 334
  • 正文 我和宋清朗相戀三年路狮,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片蔚约。...
    茶點故事閱讀 39,785評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖涂籽,靈堂內(nèi)的尸體忽然破棺而出苹祟,到底是詐尸還是另有隱情,我是刑警寧澤评雌,帶...
    沈念sama閱讀 35,492評論 5 345
  • 正文 年R本政府宣布树枫,位于F島的核電站,受9級特大地震影響景东,放射性物質發(fā)生泄漏砂轻。R本人自食惡果不足惜蛤袒,卻給世界環(huán)境...
    茶點故事閱讀 41,092評論 3 328
  • 文/蒙蒙 一只损、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧曾雕,春花似錦和措、人聲如沸庄呈。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,723評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽诬留。三九已至,卻和暖如春贫母,著一層夾襖步出監(jiān)牢的瞬間文兑,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 32,858評論 1 269
  • 我被黑心中介騙來泰國打工腺劣, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留绿贞,地道東北人。 一個月前我還...
    沈念sama閱讀 47,891評論 2 370
  • 正文 我出身青樓橘原,卻偏偏與公主長得像樟蠕,于是被迫代替她去往敵國和親贮聂。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 44,713評論 2 354

推薦閱讀更多精彩內(nèi)容