工欲善其事毅舆，必先利其器西篓。
最近討論的比較多的就是如何把我們的log有效的管理起來(lái)，收集了一些ELK相關(guān)的知識(shí)憋活，做個(gè)筆記岂津。
一般我們需要進(jìn)行日志分析場(chǎng)景：直接在日志文件中 grep、awk 就可以獲得自己想要的信息悦即。但在規(guī)模較大的場(chǎng)景中吮成，此方法效率低下橱乱，面臨問(wèn)題包括日志量太大如何歸檔、文本搜索太慢怎么辦粱甫、如何多維度查詢泳叠。需要集中化的日志管理，所有服務(wù)器上的日志收集匯總茶宵。常見(jiàn)解決思路是建立集中式日志收集系統(tǒng)危纫，將所有節(jié)點(diǎn)上的日志統(tǒng)一收集，管理乌庶，訪問(wèn)种蝶。
一般大型系統(tǒng)是一個(gè)分布式部署的架構(gòu)，不同的服務(wù)模塊部署在不同的服務(wù)器上安拟，問(wèn)題出現(xiàn)時(shí)蛤吓，大部分情況需要根據(jù)問(wèn)題暴露的關(guān)鍵信息，定位到具體的服務(wù)器和服務(wù)模塊糠赦，構(gòu)建一套集中式日志系統(tǒng)会傲，可以提高定位問(wèn)題的效率。
一個(gè)完整的集中式日志系統(tǒng)拙泽，需要包含以下幾個(gè)主要特點(diǎn)：
收集－能夠采集多種來(lái)源的日志數(shù)據(jù)
傳輸－能夠穩(wěn)定的把日志數(shù)據(jù)傳輸?shù)街醒胂到y(tǒng)
存儲(chǔ)－如何存儲(chǔ)日志數(shù)據(jù)
分析－可以支持 UI 分析
警告－能夠提供錯(cuò)誤報(bào)告淌山，監(jiān)控機(jī)制
ELK提供了一整套解決方案，并且都是開(kāi)源軟件顾瞻，之間互相配合使用泼疑，完美銜接，高效的滿足了很多場(chǎng)合的應(yīng)用荷荤。目前主流的一種日志系統(tǒng)退渗。
ELK簡(jiǎn)介：
ELK是三個(gè)開(kāi)源軟件的縮寫(xiě)，分別表示：Elasticsearch , Logstash, Kibana , 它們都是開(kāi)源軟件蕴纳。新增了一個(gè)FileBeat会油，它是一個(gè)輕量級(jí)的日志收集處理工具(Agent)，F(xiàn)ilebeat占用資源少古毛，適合于在各個(gè)服務(wù)器上搜集日志后傳輸給Logstash翻翩，官方也推薦此工具。
Elasticsearch是個(gè)開(kāi)源分布式搜索引擎稻薇，提供搜集嫂冻、分析、存儲(chǔ)數(shù)據(jù)三大功能塞椎。它的特點(diǎn)有：分布式桨仿，零配置，自動(dòng)發(fā)現(xiàn)案狠，索引自動(dòng)分片服傍，索引副本機(jī)制暇昂，restful風(fēng)格接口，多數(shù)據(jù)源伴嗡，自動(dòng)搜索負(fù)載等。
Logstash 主要是用來(lái)日志的搜集从铲、分析瘪校、過(guò)濾日志的工具，支持大量的數(shù)據(jù)獲取方式名段。一般工作方式為c/s架構(gòu)阱扬，client端安裝在需要收集日志的主機(jī)上，server端負(fù)責(zé)將收到的各節(jié)點(diǎn)日志進(jìn)行過(guò)濾伸辟、修改等操作在一并發(fā)往elasticsearch上去麻惶。
Kibana 也是一個(gè)開(kāi)源和免費(fèi)的工具，Kibana可以為 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面信夫，可以幫助匯總窃蹋、分析和搜索重要數(shù)據(jù)日志。
Filebeat隸屬于Beats静稻。目前Beats包含四種工具：
Packetbeat（搜集網(wǎng)絡(luò)流量數(shù)據(jù)）
Topbeat（搜集系統(tǒng)警没、進(jìn)程和文件系統(tǒng)級(jí)別的 CPU 和內(nèi)存使用情況等數(shù)據(jù)）
Filebeat（搜集文件數(shù)據(jù)）
Winlogbeat（搜集 Windows 事件日志數(shù)據(jù)）
官方文檔：
Filebeat：
https://www.elastic.co/cn/products/beats/filebeat
https://www.elastic.co/guide/en/beats/filebeat/5.6/index.html
Logstash：
https://www.elastic.co/cn/products/logstash
https://www.elastic.co/guide/en/logstash/5.6/index.html
Kibana:
https://www.elastic.co/cn/products/kibana
https://www.elastic.co/guide/en/kibana/5.5/index.html
Elasticsearch：
https://www.elastic.co/cn/products/elasticsearch
https://www.elastic.co/guide/en/elasticsearch/reference/5.6/index.html
elasticsearch中文社區(qū)：
ELK架構(gòu)圖：
架構(gòu)圖一：
這是最簡(jiǎn)單的一種ELK架構(gòu)方式。優(yōu)點(diǎn)是搭建簡(jiǎn)單振湾，易于上手杀迹。缺點(diǎn)是Logstash耗資源較大，運(yùn)行占用CPU和內(nèi)存高押搪。另外沒(méi)有消息隊(duì)列緩存树酪，存在數(shù)據(jù)丟失隱患。
此架構(gòu)由Logstash分布于各個(gè)節(jié)點(diǎn)上搜集相關(guān)日志大州、數(shù)據(jù)续语，并經(jīng)過(guò)分析、過(guò)濾后發(fā)送給遠(yuǎn)端服務(wù)器上的Elasticsearch進(jìn)行存儲(chǔ)摧茴。Elasticsearch將數(shù)據(jù)以分片的形式壓縮存儲(chǔ)并提供多種API供用戶查詢绵载，操作。用戶亦可以更直觀的通過(guò)配置Kibana Web方便的對(duì)日志查詢苛白，并根據(jù)數(shù)據(jù)生成報(bào)表娃豹。
架構(gòu)圖二：
此種架構(gòu)引入了消息隊(duì)列機(jī)制，位于各個(gè)節(jié)點(diǎn)上的Logstash Agent先將數(shù)據(jù)/日志傳遞給Kafka（或者Redis）购裙，并將隊(duì)列中消息或數(shù)據(jù)間接傳遞給Logstash懂版，Logstash過(guò)濾、分析后將數(shù)據(jù)傳遞給Elasticsearch存儲(chǔ)躏率。最后由Kibana將日志和數(shù)據(jù)呈現(xiàn)給用戶躯畴。因?yàn)橐肓薑afka（或者Redis）,所以即使遠(yuǎn)端Logstash server因故障停止運(yùn)行民鼓，數(shù)據(jù)將會(huì)先被存儲(chǔ)下來(lái)，從而避免數(shù)據(jù)丟失蓬抄。
架構(gòu)圖三：
此種架構(gòu)將收集端logstash替換為beats丰嘉，更靈活，消耗資源更少嚷缭，擴(kuò)展性更強(qiáng)饮亏。同時(shí)可配置Logstash 和Elasticsearch 集群用于支持大集群系統(tǒng)的運(yùn)維日志數(shù)據(jù)監(jiān)控和查詢。
Filebeat工作原理：
Filebeat由兩個(gè)主要組件組成：prospectors?和?harvesters阅爽。這兩個(gè)組件協(xié)同工作將文件變動(dòng)發(fā)送到指定的輸出中路幸。
Harvester（收割機(jī)）：負(fù)責(zé)讀取單個(gè)文件內(nèi)容。每個(gè)文件會(huì)啟動(dòng)一個(gè)Harvester付翁，每個(gè)Harvester會(huì)逐行讀取各個(gè)文件简肴，并將文件內(nèi)容發(fā)送到制定輸出中。Harvester負(fù)責(zé)打開(kāi)和關(guān)閉文件百侧，意味在Harvester運(yùn)行的時(shí)候砰识，文件描述符處于打開(kāi)狀態(tài)，如果文件在收集中被重命名或者被刪除移层，F(xiàn)ilebeat會(huì)繼續(xù)讀取此文件仍翰。所以在Harvester關(guān)閉之前，磁盤(pán)不會(huì)被釋放观话。默認(rèn)情況filebeat會(huì)保持文件打開(kāi)的狀態(tài)予借，直到達(dá)到close_inactive（如果此選項(xiàng)開(kāi)啟，filebeat會(huì)在指定時(shí)間內(nèi)將不再更新的文件句柄關(guān)閉频蛔，時(shí)間從harvester讀取最后一行的時(shí)間開(kāi)始計(jì)時(shí)灵迫。若文件句柄被關(guān)閉后，文件發(fā)生變化晦溪，則會(huì)啟動(dòng)一個(gè)新的harvester瀑粥。關(guān)閉文件句柄的時(shí)間不取決于文件的修改時(shí)間，若此參數(shù)配置不當(dāng)三圆，則可能發(fā)生日志不實(shí)時(shí)的情況狞换，由scan_frequency參數(shù)決定，默認(rèn)10s舟肉。Harvester使用內(nèi)部時(shí)間戳來(lái)記錄文件最后被收集的時(shí)間修噪。例如：設(shè)置5m，則在Harvester讀取文件的最后一行之后路媚，開(kāi)始倒計(jì)時(shí)5分鐘黄琼，若5分鐘內(nèi)文件無(wú)變化，則關(guān)閉文件句柄整慎。默認(rèn)5m）脏款。
Prospector（勘測(cè)者）：負(fù)責(zé)管理Harvester并找到所有讀取源围苫。
Prospector會(huì)找到/apps/logs/*目錄下的所有info.log文件，并為每個(gè)文件啟動(dòng)一個(gè)Harvester撤师。Prospector會(huì)檢查每個(gè)文件剂府，看Harvester是否已經(jīng)啟動(dòng)，是否需要啟動(dòng)剃盾，或者文件是否可以忽略周循。若Harvester關(guān)閉，只有在文件大小發(fā)生變化的時(shí)候Prospector才會(huì)執(zhí)行檢查万俗。只能檢測(cè)本地的文件。
Filebeat如何記錄文件狀態(tài)：
將文件狀態(tài)記錄在文件中（默認(rèn)在/var/lib/filebeat/registry）饮怯。此狀態(tài)可以記住Harvester收集文件的偏移量闰歪。若連接不上輸出設(shè)備，如ES等蓖墅，filebeat會(huì)記錄發(fā)送前的最后一行库倘，并再可以連接的時(shí)候繼續(xù)發(fā)送。Filebeat在運(yùn)行的時(shí)候论矾，Prospector狀態(tài)會(huì)被記錄在內(nèi)存中教翩。Filebeat重啟的時(shí)候，利用registry記錄的狀態(tài)來(lái)進(jìn)行重建贪壳，用來(lái)還原到重啟之前的狀態(tài)饱亿。每個(gè)Prospector會(huì)為每個(gè)找到的文件記錄一個(gè)狀態(tài)，對(duì)于每個(gè)文件闰靴，F(xiàn)ilebeat存儲(chǔ)唯一標(biāo)識(shí)符以檢測(cè)文件是否先前被收集彪笼。
Filebeat如何保證事件至少被輸出一次：
Filebeat之所以能保證事件至少被傳遞到配置的輸出一次，沒(méi)有數(shù)據(jù)丟失蚂且，是因?yàn)閒ilebeat將每個(gè)事件的傳遞狀態(tài)保存在文件中配猫。在未得到輸出方確認(rèn)時(shí)，filebeat會(huì)嘗試一直發(fā)送杏死，直到得到回應(yīng)泵肄。若filebeat在傳輸過(guò)程中被關(guān)閉，則不會(huì)再關(guān)閉之前確認(rèn)所有時(shí)事件淑翼。任何在filebeat關(guān)閉之前為確認(rèn)的時(shí)間腐巢，都會(huì)在filebeat重啟之后重新發(fā)送。這可確保至少發(fā)送一次窒舟，但有可能會(huì)重復(fù)系忙。可通過(guò)設(shè)置shutdown_timeout?參數(shù)來(lái)設(shè)置關(guān)閉之前的等待事件回應(yīng)的時(shí)間（默認(rèn)禁用）惠豺。
Logstash工作原理：
Logstash事件處理有三個(gè)階段：inputs → filters → outputs银还。是一個(gè)接收风宁，處理，轉(zhuǎn)發(fā)日志的工具蛹疯。支持系統(tǒng)日志戒财，webserver日志，錯(cuò)誤日志捺弦，應(yīng)用日志饮寞，總之包括所有可以拋出來(lái)的日志類(lèi)型。
Input：輸入數(shù)據(jù)到logstash列吼。
一些常用的輸入為：
file：從文件系統(tǒng)的文件中讀取幽崩，類(lèi)似于tial -f命令
syslog：在514端口上監(jiān)聽(tīng)系統(tǒng)日志消息，并根據(jù)RFC3164標(biāo)準(zhǔn)進(jìn)行解析
redis：從redis service中讀取
beats：從filebeat中讀取
Filters：數(shù)據(jù)中間處理寞钥，對(duì)數(shù)據(jù)進(jìn)行操作慌申。
一些常用的過(guò)濾器為：
grok：解析任意文本數(shù)據(jù)，Grok 是 Logstash 最重要的插件理郑。它的主要作用就是將文本格式的字符串蹄溉，轉(zhuǎn)換成為具體的結(jié)構(gòu)化的數(shù)據(jù)，配合正則表達(dá)式使用您炉。內(nèi)置120多個(gè)解析語(yǔ)法柒爵。
官方提供的grok表達(dá)式：https://github.com/logstash-plugins/logstash-patterns-core/tree/master/patterns
grok在線調(diào)試：https://grokdebug.herokuapp.com/
mutate：對(duì)字段進(jìn)行轉(zhuǎn)換。例如對(duì)字段進(jìn)行刪除赚爵、替換棉胀、修改、重命名等冀膝。
drop：丟棄一部分events不進(jìn)行處理膏蚓。
clone：拷貝 event，這個(gè)過(guò)程中也可以添加或移除字段畸写。
geoip：添加地理信息(為前臺(tái)kibana圖形化展示使用)
Outputs：outputs是logstash處理管道的最末端組件驮瞧。一個(gè)event可以在處理過(guò)程中經(jīng)過(guò)多重輸出，但是一旦所有的outputs都執(zhí)行結(jié)束枯芬，這個(gè)event也就完成生命周期论笔。
一些常見(jiàn)的outputs為：
elasticsearch：可以高效的保存數(shù)據(jù)，并且能夠方便和簡(jiǎn)單的進(jìn)行查詢千所。
file：將event數(shù)據(jù)保存到文件中狂魔。
graphite：將event數(shù)據(jù)發(fā)送到圖形化組件中，一個(gè)很流行的開(kāi)源存儲(chǔ)圖形化展示的組件淫痰。
Codecs：codecs 是基于數(shù)據(jù)流的過(guò)濾器最楷，它可以作為input，output的一部分配置。Codecs可以幫助你輕松的分割發(fā)送過(guò)來(lái)已經(jīng)被序列化的數(shù)據(jù)籽孙。
一些常見(jiàn)的codecs：
json：使用json格式對(duì)數(shù)據(jù)進(jìn)行編碼/解碼烈评。
multiline：將匯多個(gè)事件中數(shù)據(jù)匯總為一個(gè)單一的行。比如：java異常信息和堆棧信息犯建。
