基于Docker快速搭建ELK

本文基于自建的Docker平臺速搭建一套完整的ELK系統(tǒng)趣竣,相關(guān)的鏡像直接從Docker Hub上獲取嫉戚,可以快速實(shí)現(xiàn)日志的采集和分析檢索畔师。

準(zhǔn)備鏡像

  • 獲取ES鏡像:docker pull elasticsearch:latest

  • 獲取kibana鏡像:docker pull kibana:latest

  • 獲取logstash鏡像:docker pull logstash:latest

啟動(dòng)Elasticsearch

官方鏡像里面ES的配置文件保存在/usr/share/elasticsearch/config蒜埋,如果有需要可以將該目錄映射到宿主機(jī)上;數(shù)據(jù)文件目錄/usr/share/elasticsearch/data塌西,這里我們把數(shù)據(jù)目錄映射出來蛙紫;容器默認(rèn)對外提供9200端口皂股,用作API交互劈猪。

docker run --name elasticsearch \

-v "$PWD/esdata":/usr/share/elasticsearch/data \

-p 9200:9200 \

-d elasticsearch

容器啟動(dòng)以后可以調(diào)用一把驗(yàn)證一下:


8818451-ddb2fa227c571982.png

啟動(dòng)Kibana

Kibana作為ES操作的UI昧甘,需要跟ES容器通信,所以這里要將ES的容器link一下战得,對外提供5601端口做頁面交互充边。

docker run --name kibana \

--link elasticsearch:elasticsearch \

-p 5601:5601 \

-d kibana

容器啟動(dòng)后用瀏覽器訪問5601端口,可以看到kibana頁面常侦,首次訪問的時(shí)候可能會(huì)提示沒有建立默認(rèn)索引浇冰,這里需要在管理頁面上創(chuàng)建一個(gè)默認(rèn)索引。默認(rèn)索引通常叫做logstash-*聋亡,如下圖所示創(chuàng)建一個(gè)默認(rèn)索引肘习。


8818451-082cbcc62a2a224b.png

啟動(dòng)Logstash

Logstash主要作用是收集日志,這個(gè)組件有很多插件坡倔,可以支持大部分日志集成方式漂佩,如tcp脖含、udp、jdbc仅仆、文件器赞、隊(duì)列等垢袱,他的配置非常簡單墓拜,啟動(dòng)方式也很簡單,這里以nginx的訪問日志為例请契,我們配置logstash讀取nginx的access.log咳榜,然后把日志轉(zhuǎn)發(fā)到Elasticsearch。

首先編譯一個(gè)logstash配置文件logstash.conf爽锥,內(nèi)容如下:

input{
    file{
        path=>"/tmp/nginx/logs/access.log"
    }
}
output{
    stdout{
        
    }#日志輸出到控制臺#輸出到eselasticsearch{
        hosts=>"100.100.x.231"
    }
}

啟動(dòng)容器涌韩,這里我們把nginx的日志放在/tmp/nginx/logs/access.log,為了讓容器能讀到這個(gè)日志氯夷,需要把日志目錄映射到容器里面臣樱。
docker run -it --rm -v /tmp/nginx/logs/access.log:/tmp/nginx/logs/access.log docker.io/logstash:latest -f /config-dir/logstash.conf
接下來我們可以全流程測試一下日志收集展示的過程。首先在nginx里面造點(diǎn)訪問日志腮考,比如直接curl調(diào)nginx服務(wù)端口雇毫,或者直接往access.log里面寫數(shù)據(jù)也行。這時(shí)候再logstash容器我們可以看到如下日志輸出:

8818451-35431a2ca3e8868b.png

再往后踩蔚,打開Kibana頁面就可以看到實(shí)時(shí)寫入的日志數(shù)據(jù)了:
8818451-7ec598fbe6bcb3d8.png

總結(jié)

Docker容器使ELK搭建變得非常便捷棚放,通過ELK可以快速分析檢索日志,發(fā)現(xiàn)問題馅闽,ELK的幾個(gè)核心貢獻(xiàn)者成立了一家公司叫Elastic飘蚯,目前跟我司也有一些合作,在開源的基礎(chǔ)上該公司也發(fā)布了一些商業(yè)產(chǎn)品福也,名為X-Pack局骤,提供了機(jī)器學(xué)習(xí)、圖算法以及安全技術(shù)上的諸多加強(qiáng)暴凑,有興趣的同學(xué)可以自行了解峦甩。


8818451-ede90e57f19e6731.png

原文地址: 《基于Docker快速搭建ELK》

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市搬设,隨后出現(xiàn)的幾起案子穴店,更是在濱河造成了極大的恐慌,老刑警劉巖拿穴,帶你破解...
    沈念sama閱讀 217,406評論 6 503
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件泣洞,死亡現(xiàn)場離奇詭異,居然都是意外死亡默色,警方通過查閱死者的電腦和手機(jī)球凰,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,732評論 3 393
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人呕诉,你說我怎么就攤上這事缘厢。” “怎么了甩挫?”我有些...
    開封第一講書人閱讀 163,711評論 0 353
  • 文/不壞的土叔 我叫張陵贴硫,是天一觀的道長。 經(jīng)常有香客問我伊者,道長英遭,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,380評論 1 293
  • 正文 為了忘掉前任亦渗,我火速辦了婚禮挖诸,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘法精。我一直安慰自己多律,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,432評論 6 392
  • 文/花漫 我一把揭開白布搂蜓。 她就那樣靜靜地躺著狼荞,像睡著了一般。 火紅的嫁衣襯著肌膚如雪洛勉。 梳的紋絲不亂的頭發(fā)上粘秆,一...
    開封第一講書人閱讀 51,301評論 1 301
  • 那天,我揣著相機(jī)與錄音收毫,去河邊找鬼攻走。 笑死,一個(gè)胖子當(dāng)著我的面吹牛此再,可吹牛的內(nèi)容都是我干的昔搂。 我是一名探鬼主播,決...
    沈念sama閱讀 40,145評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼输拇,長吁一口氣:“原來是場噩夢啊……” “哼摘符!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起策吠,我...
    開封第一講書人閱讀 39,008評論 0 276
  • 序言:老撾萬榮一對情侶失蹤逛裤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后猴抹,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體带族,經(jīng)...
    沈念sama閱讀 45,443評論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,649評論 3 334
  • 正文 我和宋清朗相戀三年蟀给,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了蝙砌。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片阳堕。...
    茶點(diǎn)故事閱讀 39,795評論 1 347
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖择克,靈堂內(nèi)的尸體忽然破棺而出恬总,到底是詐尸還是另有隱情,我是刑警寧澤肚邢,帶...
    沈念sama閱讀 35,501評論 5 345
  • 正文 年R本政府宣布壹堰,位于F島的核電站,受9級特大地震影響道偷,放射性物質(zhì)發(fā)生泄漏缀旁。R本人自食惡果不足惜记劈,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,119評論 3 328
  • 文/蒙蒙 一勺鸦、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧目木,春花似錦换途、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,731評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至誓禁,卻和暖如春懈息,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背摹恰。 一陣腳步聲響...
    開封第一講書人閱讀 32,865評論 1 269
  • 我被黑心中介騙來泰國打工辫继, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人俗慈。 一個(gè)月前我還...
    沈念sama閱讀 47,899評論 2 370
  • 正文 我出身青樓姑宽,卻偏偏與公主長得像,于是被迫代替她去往敵國和親闺阱。 傳聞我的和親對象是個(gè)殘疾皇子炮车,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,724評論 2 354

推薦閱讀更多精彩內(nèi)容