關于使用Fluentd收集K8s集群容器日志
1. K8S日志
Kubernetes整個框架產生的日志主要劃分為以下四種:
- Cluster(集群)級別的日志
- Node(節(jié)點)級別的日志
- Pod(共同構成一個應用的容器集合)級別的日志
- Docker(容器)級別的日志
通過應用和系統(tǒng)日志可以了解Kubernetes集群內所發(fā)生的事情，對于調試問題和監(jiān)視集群活動來說日志非常有用完箩。對于大部分的應用來說颊乘，都會具有某種日志機制。因此，大多數(shù)容器引擎同樣被設計成支持某種日志機制切油。對于容器化應用程序來說掏缎，最簡單和最易接受的日志記錄方法是將日志內容寫入到標準輸出和標準錯誤流。
但是掰担，容器引擎或運行時提供的本地功能通常不足以支撐完整的日志記錄解決方案。例如轧抗，如果一個容器崩潰恩敌、一個Pod被驅逐、或者一個Node死亡横媚，應用相關者可能仍然需要訪問應用程序的日志纠炮。
因此，日志應該具有獨立于Node灯蝴、Pod或者容器的單獨存儲和生命周期恢口，這個概念被稱為群集級日志記錄。群集級日志記錄需要一個獨立的后端來存儲穷躁、分析和查詢日志耕肩。Kubernetes本身并沒有為日志數(shù)據提供原生的存儲解決方案，但可以將許多現(xiàn)有的日志記錄解決方案集成到Kubernetes集群中问潭。
1.1 容器日志
kubernetes基礎日志即將日志數(shù)據輸出到標準輸出流猿诸，使用kubectl logs 加容器名和命名空間來獲取容器日志信息。
kubectl logs user-7d4d7c9675-rrs5m --namespace=sock-shop
1.2節(jié)點日志
容器化應用寫入到stdout和stderr的所有內容都是由容器引擎處理和重定向的狡忙。例如梳虽，docker容器引擎會將這兩個流重定向到日志記錄驅動，在Kubernetes中該日志驅動被配置為以json格式寫入文件灾茁。docker json日志記錄驅動將每一行視為單獨的消息窜觉。當使用docker日志記錄驅動時，并不支持多行消息北专，因此需要在日志代理級別或更高級別上處理多行消息禀挫。
默認情況下，如果容器重新啟動拓颓，kubectl將會保留一個已終止的容器及其日志语婴。如果從Node中驅逐Pod，那么Pod中所有相應的容器也會連同它們的日志一起被驅逐。Node級別的日志中的一個重要考慮是實現(xiàn)日志旋轉腻格，這樣日志不會消耗Node上的所有可用存儲画拾。Kubernetes目前不負責旋轉日志，部署工具應該建立一個解決方案來解決這個問題菜职。
在Kubernetes中有兩種類型的系統(tǒng)組件：運行在容器中的組件和不在容器中運行的組件。例如：
- Kubernetes調度器和kube-proxy在容器中運行旗闽。
- kubelet和容器運行時酬核，例如docker，不在容器中運行适室。
在帶有systemd的機器上嫡意，kubelet和容器運行時寫入journald。如果systemd不存在捣辆，它們會在/var/log目錄中寫入.log文件蔬螟。在容器中的系統(tǒng)組件總是繞過默認的日志記錄機制，寫入到/var/log目錄汽畴，它們使用golg日志庫旧巾。可以找到日志記錄中開發(fā)文檔中那些組件記錄嚴重性的約定忍些。
類似于容器日志鲁猩，在/var/log目錄中的系統(tǒng)組件日志應該被旋轉。這些日志被配置為每天由logrotate進行旋轉罢坝，或者當大小超過100mb時進行旋轉廓握。
1.3 集群日志
Kubernetes本身沒有為群集級別日志記錄提供原生解決方案，但有幾種常見的方法可以采用：
- 使用運行在每個Node上的Node級別的日志記錄代理
- 在應用Pod中包含一個用于日志記錄的sidecar
- 將日志直接從應用內推到后端
2.方案選定
因為日志記錄必須在每個Node上運行嘁酿，所以通常將它作為DaemonSet副本隙券、或一個清單Pod或Node上的專用本機進程。然而闹司，后兩種方法后續(xù)將會被放棄娱仔。使用Node級別日志記錄代理是Kubernetes集群最常見和最受歡迎的方法，因為它只為每個節(jié)點創(chuàng)建一個代理开仰，并且不需要對節(jié)點上運行的應用程序進行任何更改拟枚。但是，Node級別日志記錄僅適用于應用程序的標準輸出和標準錯誤众弓。
Kubernetes本身并沒有指定日志記錄代理恩溅，但是有兩個可選的日志記錄代理與Kubernetes版本打包發(fā)布：和谷歌云平臺一起使用的Stackdriver和Elasticsearch，兩者都使用自定義配置的fluentd作為Node上的代理谓娃。在本文的方案中脚乡，Logging-agent 采用Fluentd，而 Logging Backend 采用Elasticsearch，前端展示采用Kibana奶稠。即通過Fluentd作為Logging-agent收集日志俯艰，并推送給后端的Elasticsearch；前端展示采用Kibana從Elasticsearch中獲取日志锌订，并進行統(tǒng)一的展示竹握。
