MAC 安裝配置 ELK 日志框架

官網(wǎng)地址
官網(wǎng)權(quán)威指南
安裝指南


一失晴、概念

ELK 是什么

? ? 1恨樟、ELK 是 Elasticsearch、Logstash幽纷、Kibana 的首字母組合式塌,這三者是核心套件,但并非全部友浸。

? ? ? ? ? ? ? ? 1)峰尝、Elasticsearch?是實(shí)時(shí)全文搜索和分析引擎,提供搜集尾菇、分析境析、存儲(chǔ)數(shù)據(jù)三大功能囚枪;是一套開放REST和JAVA API等結(jié)構(gòu)提供高效搜索功能派诬,可擴(kuò)展的分布式系統(tǒng)。它構(gòu)建于Apache Lucene搜索引擎庫(kù)之上链沼。

? ? ? ? ? ? ? ? 2)默赂、Logstash?是一個(gè)用來搜集、分析括勺、過濾日志的工具缆八。它支持幾乎任何類型的日志,包括系統(tǒng)日志疾捍、錯(cuò)誤日志和自定義應(yīng)用程序日志奈辰。它可以從許多來源接收日志,這些來源包括 syslog乱豆、消息傳遞(例如 RabbitMQ)和JMX奖恰,它能夠以多種方式輸出數(shù)據(jù),包括電子郵件宛裕、websockets和Elasticsearch瑟啃。

????????????????3)、Kibana?是一個(gè)基于Web的圖形界面揩尸,用于搜索蛹屿、分析和可視化存儲(chǔ)在 Elasticsearch指標(biāo)中的日志數(shù)據(jù)。它利用Elasticsearch的REST接口來檢索數(shù)據(jù)岩榆,不僅允許用戶創(chuàng)建他們自己的數(shù)據(jù)的定制儀表板視圖错负,還允許他們以特殊的方式查詢和過濾數(shù)據(jù)


ELK 架構(gòu)圖

說明:以上是 ELK 技術(shù)棧的一個(gè)架構(gòu)圖坟瓢。從圖中可以清楚的看到數(shù)據(jù)流向。

Beats:是單一用途的數(shù)據(jù)傳輸平臺(tái)犹撒,它可以將多臺(tái)機(jī)器的數(shù)據(jù)發(fā)送到 Logstash 或 Elasticsearch载绿。但 Beats 并不是不可或缺的一環(huán),所以本文中暫不介紹油航。

Logstash: 是一個(gè)動(dòng)態(tài)數(shù)據(jù)收集管道崭庸。支持以 TCP/UDP/HTTP 多種方式收集數(shù)據(jù)(也可以接受 Beats 傳輸來的數(shù)據(jù)),并對(duì)數(shù)據(jù)做進(jìn)一步豐富或提取字段處理谊囚。

Elasticsearch: 是一個(gè)基于 JSON 的分布式的搜索和分析引擎怕享。作為 ELK 的核心,它集中存儲(chǔ)數(shù)據(jù)镰踏。

Kibana:是 ELK 的用戶界面函筋。它將收集的數(shù)據(jù)進(jìn)行可視化展示(各種報(bào)表、圖形化數(shù)據(jù))奠伪,并提供配置跌帐、管理 ELK 的界面。


二绊率、安裝?(?使用 Cakebrew 安裝)

1谨敛、使用?Cakebrew? 安裝?Logstash、Elasticsearch滤否、Kibana

注:Cakebrew 中可能無法下載?Kibana(本文中Cakebrew無法安裝Kibana)

2脸狸、Kibana 安裝到官網(wǎng)中下載(https://www.elastic.co/downloads/past-releases)

注:?Logstash、ElasticSearch藐俺、Kibana 版本需要一致不然無法集成


三炊甲、配置 ( 使用 Cakebrew 安裝)

1、簡(jiǎn)單配置?Elasticsearch

? ? ? ? 1)欲芹、在 /usr/local/etc/elasticsearch/elasticsearch.yml? 文件中加入下列配置:

????????????????# 為集群使用描述性名稱:?

????????????????cluster.name: xxxxxx

? ? ? ? ? ? ? ??# 存儲(chǔ)數(shù)據(jù)的目錄路徑(用逗號(hào)分隔多個(gè)位置):

????????????????path.data: /usr/local/xx/xx/xxx/

????????????????# 日志文件路徑:

????????????????path.logs: /usr/local/xx/xx/xxx/

????????????????# 為HTTP設(shè)置自定義端口:

????????????????http.port: 9600

2卿啡、簡(jiǎn)單配置?Logstash

? ? ? ? 1)、添加一個(gè)?logstash.conf?文件 或者使用文件下的?config/logstash-sample.conf? ?指定要使用的插件以及每個(gè)插件的設(shè)置菱父。舉個(gè)簡(jiǎn)單的例子:

? ? ? ??input { beats { port => 5044 }}

????????filter { grok { match => { "message" => "%{COMBINEDAPACHELOG}"} }

????????geoip { source => "clientip" } }

????????output {

????????????elasticsearch {

????????????????????hosts => ["http://127.0.0.1:9600"]

???????????????????? index => "logstash-%{type}-%{+YYYY.MM.dd}"

????????????}

???????????????????? stdout { codec => rubydebug }

? ? ? ? }? ? ? ? ? ?

? ? ? ? 2)颈娜、在?config/pipelines.yml 文件中添加 如下配置

????????????????- pipeline.id: myconfig??

????????????????path.config: "xxxxxxxxx/config/logstash-sample.conf

3、簡(jiǎn)單配置?Kibana

? ? 1)滞伟、把下載下來的?Kibana 解壓出來 找到?config/kibana.yml 文件添加如下

????????????????# 監(jiān)聽端口?

????????????????server.port: 5601?

????????????????# 指定后端服務(wù)器?

????????????????server.host: "localhost"?

????????????????# 指定elasticsearch實(shí)例地址? ??

????????????????elasticsearch.url: "http://127.0.0.1:9600"?



大功告成揭鳞,此后分別啟動(dòng)?Logstash ---?Elasticsearch -- Kibana 即可


最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市梆奈,隨后出現(xiàn)的幾起案子野崇,更是在濱河造成了極大的恐慌,老刑警劉巖亩钟,帶你破解...
    沈念sama閱讀 217,542評(píng)論 6 504
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件乓梨,死亡現(xiàn)場(chǎng)離奇詭異鳖轰,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)扶镀,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,822評(píng)論 3 394
  • 文/潘曉璐 我一進(jìn)店門蕴侣,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人臭觉,你說我怎么就攤上這事昆雀。” “怎么了蝠筑?”我有些...
    開封第一講書人閱讀 163,912評(píng)論 0 354
  • 文/不壞的土叔 我叫張陵狞膘,是天一觀的道長(zhǎng)。 經(jīng)常有香客問我什乙,道長(zhǎng)挽封,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,449評(píng)論 1 293
  • 正文 為了忘掉前任臣镣,我火速辦了婚禮辅愿,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘忆某。我一直安慰自己点待,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,500評(píng)論 6 392
  • 文/花漫 我一把揭開白布褒繁。 她就那樣靜靜地躺著亦鳞,像睡著了一般。 火紅的嫁衣襯著肌膚如雪棒坏。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,370評(píng)論 1 302
  • 那天遭笋,我揣著相機(jī)與錄音坝冕,去河邊找鬼。 笑死瓦呼,一個(gè)胖子當(dāng)著我的面吹牛喂窟,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播央串,決...
    沈念sama閱讀 40,193評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼磨澡,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來了质和?” 一聲冷哼從身側(cè)響起稳摄,我...
    開封第一講書人閱讀 39,074評(píng)論 0 276
  • 序言:老撾萬榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎饲宿,沒想到半個(gè)月后厦酬,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體胆描,經(jīng)...
    沈念sama閱讀 45,505評(píng)論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,722評(píng)論 3 335
  • 正文 我和宋清朗相戀三年仗阅,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了昌讲。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 39,841評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡减噪,死狀恐怖短绸,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情筹裕,我是刑警寧澤鸠按,帶...
    沈念sama閱讀 35,569評(píng)論 5 345
  • 正文 年R本政府宣布,位于F島的核電站饶碘,受9級(jí)特大地震影響目尖,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜扎运,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,168評(píng)論 3 328
  • 文/蒙蒙 一瑟曲、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧豪治,春花似錦洞拨、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,783評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至掩浙,卻和暖如春花吟,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背厨姚。 一陣腳步聲響...
    開封第一講書人閱讀 32,918評(píng)論 1 269
  • 我被黑心中介騙來泰國(guó)打工衅澈, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人谬墙。 一個(gè)月前我還...
    沈念sama閱讀 47,962評(píng)論 2 370
  • 正文 我出身青樓今布,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親拭抬。 傳聞我的和親對(duì)象是個(gè)殘疾皇子部默,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,781評(píng)論 2 354