Docker 日志分為兩類：

• Docker 引擎日志(也就是 dockerd 運行時的日志)颖变，

• 容器的日志，容器內(nèi)的服務(wù)產(chǎn)生的日志。

一 瘦穆、Docker 引擎日志

Docker 引擎日志一般是交給了 Upstart(Ubuntu 14.04) 或者 systemd (CentOS 7, Ubuntu 16.04)栓撞。前者一般位于 /var/log/upstart/docker.log 下遍膜，后者我們一般 通過 journalctl -u docker 來進行查看。

以上內(nèi)容來自：https://blog.lab99.org/post/docker-2016-07-14-faq.html

二、容器日志

2.1捌归、常用查看日志命令——docker logs

docker logs CONTAINER 顯示當前運行的容器的日志信息肛响， UNIX 和 Linux 的命令有三種 輸入輸出，分別是 STDIN(標準輸入)惜索、STDOUT(標準輸出)特笋、STDERR(標準錯誤輸出)，docker logs 顯示的內(nèi)容包含 STOUT 和 STDERR巾兆。在生產(chǎn)環(huán)境猎物，如果我們的應(yīng)用輸出到我們的日志文件里，所以我們在使用 docker logs 一般收集不到太多重要的日志信息角塑。

• nginx 官方鏡像蔫磨，使用了一種方式，讓日志輸出到 STDOUT圃伶，也就是 創(chuàng)建一個符號鏈接/var/log/nginx/access.log 到 /dev/stdout堤如。

• httpd 使用的是 讓其輸出到指定文件 ，正常日志輸出到 /proc/self/fd/1 (STDOUT) 窒朋，錯誤日志輸出到 /proc/self/fd/2 (STDERR)搀罢。

• 當日志量比較大的時候，我們使用 docker logs 來查看日志侥猩，會對 docker daemon 造成比較大的壓力榔至，容器導(dǎo)致容器創(chuàng)建慢等一系列問題。

• 只有使用了 local 欺劳、json-file唧取、journald 的日志驅(qū)動的容器才可以使用 docker logs 捕獲日志，使用其他日志驅(qū)動無法使用 docker logs

2.2 划提、Docker 日志 驅(qū)動

Docker 提供了兩種模式用于將消息從容器到日志驅(qū)動枫弟。

• (默認)拒絕，阻塞從容器到容器驅(qū)動

• 非阻塞傳遞,日志將儲存在容器的緩沖區(qū)腔剂。

當緩沖區(qū)滿媒区，舊的日志將被丟棄。

在 mode 日志選項控制使用 blocking(默認) 或者 non-blocking, 當設(shè)置為 non-blocking需要設(shè)置 max-buffer-size 參數(shù)(默認為 1MB)掸犬。

使用 Docker-CE 版本，docker logs命令 僅僅適用于以下驅(qū)動程序(前面 docker logs 詳解也提及到了)

• local

• json-file

• journald

Docker 日志驅(qū)動常用命令

查看系統(tǒng)當前設(shè)置的日志驅(qū)動

docker  info |grep  "Logging Driver"  / docker info --format '{{.LoggingDriver}}'

查看單個容器的設(shè)置的日志驅(qū)動

docker inspect  -f '{{.HostConfig.LogConfig.Type}}'   容器id

Docker 日志驅(qū)動全局配置更改

修改日志驅(qū)動脉课，在配置文件 /etc/docker/daemon.json（注意該文件內(nèi)容是 JSON 格式的）進行配置即可救军。

示例：

{  "log-driver": "syslog"}

以上更改是針對所有的容器的日志驅(qū)動的。我們也可以單獨為單一容器設(shè)置日志驅(qū)動下翎。

Docker 單一容器日志驅(qū)動配置

在 運行容器的時候指定 日志驅(qū)動 --log-driver缤言。

docker  run  -itd --log-driver none alpine ash # 這里指定的日志驅(qū)動為 none 

日志驅(qū)動 一 宝当、local

local 日志驅(qū)動 記錄從容器的 STOUT/STDERR 的輸出视事，并寫到宿主機的磁盤。

默認情況下庆揩，local 日志驅(qū)動為每個容器保留 100MB 的日志信息俐东，并啟用自動壓縮來保存。(經(jīng)過測試订晌，保留100MB 的日志是指沒有經(jīng)過壓縮的日志)

local 日志驅(qū)動的儲存位置 /var/lib/docker/containers/容器id/local-logs/ 以container.log 命名虏辫。

local 驅(qū)動支持的選項

全局日志驅(qū)動設(shè)置為—local

在配置文件 /etc/docker/daemon.json（注意該文件內(nèi)容是 JSON 格式的）進行配置即可扒俯。

{  "log-driver": "local",  "log-opts": {    "max-size": "10m"  }}

重啟 docker 即可生效奶卓。

單個容器日志驅(qū)動設(shè)置為—local

運行容器并設(shè)定為 local 驅(qū)動。

#  運行一個容器 撼玄，并設(shè)定日志驅(qū)動為 local 夺姑，并運行命令 ping www.baidu.com
[root@localhost docker]# docker run  -itd  --log-driver  local  alpine  ping www.baidu.com 3795b6483534961c1d5223359ad1106433ce2bf25e18b981a47a2d79ad7a3156
#  查看運行的容器的 日志驅(qū)動是否是 local
[root@localhost docker]# docker inspect  -f '{{.HostConfig.LogConfig.Type}}'   3795b6483534961clocal
# 查看日志
[root@localhost local-logs]# tail -f  /var/lib/docker/containers/3795b6483534961c1d5223359ad1106433ce2bf25e18b981a47a2d79ad7a3156/local-logs/container.log NNdout????:64 bytes from 14.215.177.38: seq=816 ttl=55 time=5.320 msNNdout?μ???:64 bytes from 14.215.177.38: seq=817 ttl=55 time=4.950 ms

注意事項： 經(jīng)過測試，當我們產(chǎn)生了100 MB 大小的日志時 會有 四個壓縮文件和一個container.log：

[root@localhost local-logs]# ls -l
total 32544
-rw-r-----. 1 root root 18339944 May 16 09:41 container.log
-rw-r-----. 1 root root  3698660 May 16 09:41 container.log.1.gz
-rw-r-----. 1 root root  3726315 May 16 09:41 container.log.2.gz
-rw-r-----. 1 root root  3805668 May 16 09:41 container.log.3.gz
-rw-r-----. 1 root root  3744104 May 16 09:41 container.log.4.gz

那么當超過了 100MB 的日志文件掌猛，日志文件會繼續(xù)寫入到 container.log瑟幕，但是會將 container.log 日志中老的日志刪除，追加新的留潦，也就是 當寫滿 100MB 日志后 只盹，再產(chǎn)生一條新日志，會刪除 container.log 中的一條老日志兔院，保存 100MB 的大小殖卑。這個 對我們是會有一些影響的，
當我運行系統(tǒng)時 第一天由于bug產(chǎn)生了 100MB 日志坊萝，那么之前的日志就已經(jīng)有 80MB 日志變成的壓縮包孵稽，所以我在后續(xù)的運行中，只能獲取最近的 20MB日志十偶。

日志驅(qū)動 二菩鲜、 默認的日志驅(qū)動—JSON

所有容器默認的日志驅(qū)動 ****json-file。

json-file 日志驅(qū)動 記錄從容器的 STOUT/STDERR 的輸出 惦积，用 JSON 的格式寫到文件中接校，日志中不僅包含著 輸出日志，還有時間戳和 輸出格式狮崩。下面是一個 ping www.baidu.com 對應(yīng)的 JSON 日志

{"log":"64 bytes from 14.215.177.39: seq=34 ttl=55 time=7.067 ms\r\n","stream":"stdout","time":"2019-05-16T14:14:15.030612567Z"}

json-file 日志的路徑位于 /var/lib/docker/containers/container_id/container_id-json.log蛛勉。

json-file 的 日志驅(qū)動支持以下選項：

json-file 的日志驅(qū)動示例

# 設(shè)置 日志驅(qū)動為 json-file 甘凭，我們也可以不設(shè)置，因為默認就是 json-filedocker run  -itd  --name  test-log-json  --log-driver json-file   alpine  ping www.baidu.com199608b2e2c52136d2a17e539e9ef7fbacf97f1293678aded421dadbdb006a5e
# 查看日志,日志名稱就是 容器名稱-json.log
tail -f /var/lib/docker/containers/199608b2e2c52136d2a17e539e9ef7fbacf97f1293678aded421dadbdb006a5e/199608b2e2c52136d2a17e539e9ef7fbacf97f1293678aded421dadbdb006a5e-json.log
{"log":"64 bytes from 14.215.177.39: seq=13 ttl=55 time=15.023 ms\r\n","stream":"stdout","time":"2019-05-16T14:13:54.003118877Z"}
{"log":"64 bytes from 14.215.177.39: seq=14 ttl=55 time=9.640 ms\r\n","stream":"stdout","time":"2019-05-16T14:13:54.999011017Z"}
{"log":"64 bytes from 14.215.177.39: seq=15 ttl=55 time=8.938 ms\r\n","stream":"stdout","time":"2019-05-16T14:13:55.998612636Z"}
{"log":"64 bytes from 14.215.177.39: seq=16 ttl=55 time=18.086 ms\r\n","stream":"stdout","time":"2019-05-16T14:13:57.011235913Z"}
{"log":"64 bytes from 14.215.177.39: seq=17 ttl=55 time=12.615 ms\r\n","stream":"stdout","time":"2019-05-16T14:13:58.007104112Z"}
{"log":"64 bytes from 14.215.177.39: seq=18 ttl=55 time=11.001 ms\r\n","stream":"stdout","time":"2019-05-16T14:13:59.007559413Z"}

日志驅(qū)動 三火邓、syslog

syslog 日志驅(qū)動將日志路由到 syslog 服務(wù)器丹弱，syslog 以原始的字符串作為 日志消息元數(shù)據(jù)，接收方可以提取以下的消息：

• level 日志等級 铲咨，如debug躲胳，warning，error纤勒，info坯苹。

• timestamp 時間戳

• hostname 事件發(fā)生的主機

• facillty 系統(tǒng)模塊

• 進程名稱和進程 ID

syslog 日志驅(qū)動全局配置

編輯 /etc/docker/daemon.json 文件

{  "log-driver": "syslog",  "log-opts": {    "syslog-address": "udp://1.2.3.4:1111"  }}

重啟 docker 即可生效。

**單個容器日志驅(qū)動設(shè)置為—syslog **

Linux 系統(tǒng)中 我們用的系統(tǒng)日志模塊時 rsyslog 萍嬉，它是基于syslog 的標準實現(xiàn)。我們要使用 syslog 驅(qū)動需要使用 系統(tǒng)自帶的 rsyslog 服務(wù)隙疚。

# 查看當前 rsyslog 版本和基本信息
[root@localhost harbor]# rsyslogd  -v
rsyslogd 8.24.0, compiled with:    
PLATFORM:               x86_64-redhat-linux-gnu    
PLATFORM (lsb_release -d):          
FEATURE_REGEXP:             Yes    
GSSAPI Kerberos 5 support:      Yes    
FEATURE_DEBUG (debug build, slow code): No    
32bit Atomic operations supported:  Yes    
64bit Atomic operations supported:  Yes    
memory allocator:           system default    
Runtime Instrumentation (slow code):    No    
uuid support:               Yes    
Number of Bits in RainerScript integers: 64
See http://www.rsyslog.com for more information.

配置 syslog , 在配置文件 /etc/rsyslog.conf 大約14-20行壤追，我們可以看到兩個配置，一個udp供屉，一個tcp 行冰，都是監(jiān)聽 514 端口，提供 syslog 的接收伶丐。選擇 tcp 就將 tcp 的兩個配置的前面 # 號注釋即可悼做。

# Provides UDP syslog reception
#$ModLoad imudp
#$UDPServerRun 514

# Provides TCP syslog reception
#$ModLoad imtcp
#$InputTCPServerRun 514

然后重啟 rsyslog，我們可以看到514端口在監(jiān)聽哗魂。

systemctl restart  rsyslog
[root@localhost harbor]# netstat -ntul |grep 514
tcp        0      0 0.0.0.0:514             0.0.0.0:*               LISTEN     
tcp6       0      0 :::514                  :::*                    LISTEN  

啟動一個以 syslog 為驅(qū)動的容器贿堰。

docker  run -d -it  -p 87:80 --log-driver syslog --log-opt syslog-address=tcp://127.0.0.1:514  --name nginx-syslog   nginx

訪問并查看日志

# 訪問nginx
curl 127.0.0.1:87
# 查看訪問日志
tail -f  /var/log/messages
May 17 15:56:48 localhost fe18924aefde[6141]: 172.17.0.1 - - [17/May/2019:07:56:48 +0000] "GET / HTTP/1.1" 200 612 "-" "curl/7.29.0" "-"#015
May 17 15:58:16 localhost fe18924aefde[6141]: 172.17.0.1 - - [17/May/2019:07:58:16 +0000] "GET / HTTP/1.1" 200 612 "-" "curl/7.29.0" "-"#015

日志驅(qū)動 四、Journald

journald 日志驅(qū)動程序?qū)⑷萜鞯娜罩景l(fā)送到 systemd journal, 可以使用 journal API 或者使用 docker logs 來查日志啡彬。

除了日志本身以外羹与， journald 日志驅(qū)動還會在日志加上下面的數(shù)據(jù)與消息一起儲存。

選項

journald 日志驅(qū)動全局配置

編輯 /etc/docker/daemon.json 文件

{  "log-driver": "journald"}

單個容器日志驅(qū)動設(shè)置為—****journald

docker  run  -d -it --log-driver=journald \    
--log-opt labels=location \    
--log-opt env=TEST \    
--env "TEST=false" \    
--label location=china \    
--name  nginx-journald\    
-p 80:80\   
nginx

查看日志 journalctl

# 只查詢指定容器的相關(guān)消息 
journalctl CONTAINER_NAME=webserver
# -b 指定從上次啟動以來的所有消息 
journalctl -b CONTAINER_NAME=webserver
# -o 指定日志消息格式讯私，-o json 表示以json 格式返回日志消息 
journalctl -o json CONTAINER_NAME=webserver
# -f 一直捕獲日志輸出
journalctl -f CONTAINER_NAME=webserver

如果我們的容器在啟動的時候加了 -t 參數(shù)热押，啟用了 TTY 的話，那么我查看日志是會像下面一樣

May 17 17:19:26 localhost.localdomain 2a338e4631fe[6141]: [104B blob data]
May 17 17:19:32 localhost.localdomain 2a338e4631fe[6141]: [104B blob data]

顯示[104B blob data] 而不是完整日志原因是因為有 \r 的存在斤寇，如果我們要完整顯示桶癣，需要加上參數(shù) --all 。

三娘锁、 生產(chǎn)環(huán)境中該如何儲存容器中的日志

我們在上面看到了 Docker 官方提供了 很多日志驅(qū)動牙寞，但是上面的這些驅(qū)動都是針對的 標準輸出的日志驅(qū)動。

容器日志分類

容器的日志實際是有兩大類的：

• 標準輸出的 莫秆，也就是 STDOUT 间雀、STDERR ,這類日志我們可以通過 Docker 官方的日志驅(qū)動進行收集悔详。

  示例：Nginx 日志，Nginx 日志有 access.log 和 error.log 雷蹂，我們在 Docker Hub 上可以看到 Nginx 的 dockerfile 對于這兩個日志的處理是：

  RUN ln -sf /dev/stdout /var/log/nginx/access.log \  && ln -sf /dev/stderr /var/log/nginx/error.log
  

  都軟連接到 /dev/stdout 和 /dev/stderr 伟端，也就是標準輸出，所以這類 容器是可以使用 Docker 官方的日志驅(qū)動匪煌。

• 文本日志责蝠，存在在于容器內(nèi)部，并沒有重定向到 容器的標準輸出的日志萎庭。

  示例： Tomcat 日志霜医，Tomcat 有 catalina、localhost驳规、manager肴敛、admin、host-manager吗购，我們可以在 Docker Hub 看到 Tomcat 的 dockerfile 只有對于 catalina 進行處理医男，其它日志將儲存在容器里。

  CMD ["catalina.sh", "run"]
  

  我們運行了一個 Tomcat 容器 捻勉，然后進行訪問后镀梭，并登陸到容器內(nèi)部，我們可以看到產(chǎn)生了文本日志：

root@25ba00fdab97:/usr/local/tomcat/logs# ls -l
total 16
-rw-r-----. 1 root root 6822 May 17 14:36 catalina.2019-05-17.log
-rw-r-----. 1 root root    0 May 17 14:36 host-manager.2019-05-17.log
-rw-r-----. 1 root root  459 May 17 14:36 localhost.2019-05-17.log
-rw-r-----. 1 root root 1017 May 17 14:37 localhost_access_log.2019-05-17.txt
-rw-r-----. 1 root root    0 May 17 14:36 manager.2019-05-17.log

這類容器我們下面有專門的方案來應(yīng)對踱启。

一报账、當是完全是標準輸出的類型的容器

我們可以選擇 json-file 、syslog埠偿、local 等 Docker 支持的日志驅(qū)動透罢。

二、當有文件文本日志的類型容器

方案一 掛載目錄 bind

創(chuàng)建一個目錄冠蒋，將目錄掛載到 容器中產(chǎn)生日志的目錄羽圃。

--mount  type=bind,src=/opt/logs/,dst=/usr/local/tomcat/logs/ 

示例：

# 創(chuàng)建掛載目錄/opt/logs
[root@fy-local-2 /]# mkdir  /opt/logs
# 創(chuàng)建容器tomcat-bind 并將 /opt/logs 掛載至 /usr/local/tomcat/logs/
[root@fy-local-2 /]# docker  run -d  --name  tomcat-bind  -P  --mount  type=bind,src=/opt/logs/,dst=/usr/local/tomcat/logs/   tomcat 
[root@fy-local-2 /]# ls -l /opt/logs/
total 12
-rw-r----- 1 root root 6820 May 22 17:31 catalina.2019-05-22.log
-rw-r----- 1 root root    0 May 22 17:31 host-manager.2019-05-22.log
-rw-r----- 1 root root  459 May 22 17:31 localhost.2019-05-22.log
-rw-r----- 1 root root    0 May 22 17:31 localhost_access_log.2019-05-22.txt
-rw-r----- 1 root root    0 May 22 17:31 manager.2019-05-22.log

方案二 使用數(shù)據(jù)卷 volume

創(chuàng)建數(shù)據(jù)卷，創(chuàng)建容器時綁定數(shù)據(jù)卷浊服，

--mount  type=volume  src=volume_name  dst=/usr/local/tomcat/logs/ 

示例：

# 創(chuàng)建tomcat應(yīng)用數(shù)據(jù)卷名稱為 tomcat
[root@fy-local-2 /]# docker volume  create  tomcat
# 創(chuàng)建容器tomcat-volume 并指定數(shù)據(jù)卷為 tomcat统屈，綁定至 /usr/local/tomcat/logs/
[root@fy-local-2 /]# docker  run -d  --name  tomcat-volume   -P  --mount  type=volume,src=tomcat,dst=/usr/local/tomcat/logs/   tomcat
# 查看數(shù)據(jù)卷里面的內(nèi)容
[root@fy-local-2 /]# ls -l /var/lib/docker/volumes/tomcat/_data/
total 12
-rw-r----- 1 root root 6820 May 22 17:33 catalina.2019-05-22.log
-rw-r----- 1 root root    0 May 22 17:33 host-manager.2019-05-22.log
-rw-r----- 1 root root  459 May 22 17:33 localhost.2019-05-22.log
-rw-r----- 1 root root    0 May 22 17:33 localhost_access_log.2019-05-22.txt
-rw-r----- 1 root root    0 May 22 17:33 manager.2019-05-22.log

方案三 計算容器 rootfs 掛載點

使用掛載宿主機目錄的方式采集日志對應(yīng)用會有一定的侵入性，因為它要求容器啟動的時候包含掛載命令牙躺。如果采集過程能對用戶透明那就太棒了。事實上腕扶，可以通過計算容器 rootfs 掛載點來達到這種目的孽拷。

和容器 rootfs 掛載點密不可分的一個概念是 storage driver。實際使用過程中半抱，用戶往往會根據(jù) linux 版本脓恕、文件系統(tǒng)類型膜宋、容器讀寫情況等因素選擇合適的 storage driver。不同 storage driver 下炼幔，容器的 rootfs 掛載點遵循一定規(guī)律秋茫，因此我們可以根據(jù) storage driver 的類型推斷出容器的 rootfs 掛載點，進而采集容器內(nèi)部日志乃秀。下表展示了部分 storage dirver 的 rootfs 掛載點及其計算方法肛著。

示例：

# 創(chuàng)建容器 tomcat-test
[root@fy-local-2 /]# docker  run -d  --name  tomcat-test  -P  tomcat
36510dd653ae7dcac1d017174b1c38b3f9a226f9c4e329d0ff656cfe041939ff  
# 查看tomcat-test 容器的 掛載點位置
[root@fy-local-2 /]# docker inspect -f '{{.GraphDriver.Data.MergedDir}}' 36510dd653ae7dcac1d017174b1c38b3f9a226f9c4e329d0ff656cfe041939ff  
/var/lib/docker/overlay2/c10ec54bab8f3fccd2c5f1a305df6f3b1e53068776363ab0c104d253216b799d/merged
# 查看掛載點的目錄結(jié)構(gòu)
[root@fy-local-2 /]# ls -l /var/lib/docker/overlay2/c10ec54bab8f3fccd2c5f1a305df6f3b1e53068776363ab0c104d253216b799d/merged
total 4
drwxr-xr-x 1 root root  179 May  8 13:05 bin
drwxr-xr-x 2 root root    6 Mar 28 17:12 boot
drwxr-xr-x 1 root root   43 May 22 17:27 dev
lrwxrwxrwx 1 root root   33 May  8 13:08 docker-java-home -> /usr/lib/jvm/java-8-openjdk-amd64
drwxr-xr-x 1 root root   66 May 22 17:27 etc
drwxr-xr-x 2 root root    6 Mar 28 17:12 home
drwxr-xr-x 1 root root    6 May 16 08:50 lib
drwxr-xr-x 2 root root   34 May  6 08:00 lib64
drwxr-xr-x 2 root root    6 May  6 08:00 media
drwxr-xr-x 2 root root    6 May  6 08:00 mnt
drwxr-xr-x 2 root root    6 May  6 08:00 opt
drwxr-xr-x 2 root root    6 Mar 28 17:12 proc
drwx------ 1 root root   27 May 22 17:29 root
drwxr-xr-x 3 root root   30 May  6 08:00 run
drwxr-xr-x 2 root root 4096 May  6 08:00 sbin
drwxr-xr-x 2 root root    6 May  6 08:00 srv
drwxr-xr-x 2 root root    6 Mar 28 17:12 sys
drwxrwxrwt 1 root root   29 May 16 08:50 tmp
drwxr-xr-x 1 root root   19 May  6 08:00 usr
drwxr-xr-x 1 root root   41 May  6 08:00 var
# 查看日志
[root@fy-local-2 /]# ls -l /var/lib/docker/overlay2/c10ec54bab8f3fccd2c5f1a305df6f3b1e53068776363ab0c104d253216b799d/merged/usr/local/tomcat/logs/
total 20
-rw-r----- 1 root root 14514 May 22 17:40 catalina.2019-05-22.log
-rw-r----- 1 root root     0 May 22 17:27 host-manager.2019-05-22.log
-rw-r----- 1 root root  1194 May 22 17:40 localhost.2019-05-22.log
-rw-r----- 1 root root     0 May 22 17:27 localhost_access_log.2019-05-22.txt
-rw-r----- 1 root root     0 May 22 17:27 manager.2019-05-22.log

方案四 在代碼層中實現(xiàn)直接將日志寫入redis

docker ——》redis ——》Logstash——》Elasticsearch

通過代碼層面刀脏，直接將日志寫入redis,最后寫入 Elasticsearch局荚。