描述系統(tǒng)日志架構(gòu)

系統(tǒng)日志：是為了記錄進程和操作系統(tǒng)內(nèi)核為發(fā)生事件旭咽，這些日志用來審計和問題的故障排查

• 日志一般保留在/var/log中篙议，可以使用less和tail命令查看日志
• RHEL中內(nèi)置了基于syslog協(xié)議的標(biāo)準(zhǔn)日志記錄系統(tǒng)
• systemd-journald和rsyslog服務(wù)處理RHEL8中的syslog
• systemd-journald服務(wù)是操作系統(tǒng)時間日志架構(gòu)的核心，默認該日志存儲在系統(tǒng)重啟后不保留的文件系統(tǒng)上蛋哭。
• rsyslog服務(wù)對syslog消息進程排序嚎于，并存放在/var/log中
• 常用的系統(tǒng)日志文件
  -- /var/log/messages：大多數(shù)系統(tǒng)日志消息記錄在此處。包括身份信息驗證迫悠、電子郵件處理和調(diào)度作業(yè)執(zhí)行相關(guān)的信息以及純粹與調(diào)試相關(guān)的syslog信息
  -- /var/log/secure：與安全性和身份驗證時間相關(guān)的syslog消息
  -- /var/log/maillog：與郵件服務(wù)器相關(guān)的syslog日志
  -- /var/log/cron：與調(diào)度作業(yè)執(zhí)行相關(guān)的syslog消息
  -- /var/log/boot.log：與系統(tǒng)啟動相關(guān)的非syslog控制臺消息

查看系統(tǒng)日志文件

• 許多程序使用syslog協(xié)議將事件記錄到系統(tǒng)鹏漆。
• 每一日志消息根據(jù)設(shè)備（消息的類型）和優(yōu)先級（消息的嚴重性）分類
  -- 消息的類型

image.png

-- 消息的嚴重程度

image.png

• rsyslog服務(wù)使用日志消息的設(shè)備和優(yōu)先級來確定如何進行處理
• 配置文件為/etc/rsyslog.conf和/etc/rsyslog.d/*.conf中

vim /etc/rsyslog.conf
#該文件的規(guī)則編寫
設(shè)備名.優(yōu)先級  日志存放的位置以及文件名
... ...
#### RULES ####

# Log all kernel messages to the console.
# Logging much else clutters up the screen.
#kern.*                                                 /dev/console

# Log anything (except mail) of level info or higher.
# Don't log private authentication messages!
*.info;mail.none;authpriv.none;cron.none                /var/log/messages

# The authpriv file has restricted access.
authpriv.*                                              /var/log/secure

# Log all the mail messages in one place.
mail.*                                                  -/var/log/maillog


# Log cron stuff
cron.*                                                  /var/log/cron

# Everybody gets emergency messages
*.emerg                                                 :omusrmsg:*

# Save news errors of level crit and higher in a special file.
uucp,news.crit                                          /var/log/spooler

# Save boot messages also to boot.log
local7.*                                                /var/log/boot.log
... ...

• 測試編寫一個rsyslog配置文件（如果一個自己開發(fā)的服務(wù)，可以自己去編寫日志規(guī)則创泄，存放在指定目錄中）

[root@serverb ~]# vim /etc/rsyslog.d/all.conf
*.*     /var/log/all.log  #所有設(shè)備所有優(yōu)先級的日志艺玲，存放在/var/log/all.log中
#重啟服務(wù)加載配置
[root@serverb ~]# systemctl restart rsyslog.service
#查看
[root@serverb ~]# ls -l /var/log/all.log
-rw-------. 1 root root 796 Apr 27 19:20 /var/log/all.log

• 日志的輪轉(zhuǎn)
  logrotate工具會輪轉(zhuǎn)日志文件，以防止它們在含有/var/log目錄文件系統(tǒng)占用太多空間

cat /etc/logrotate.conf
# see "man logrotate" for details
# rotate log files weekly
weekly  #每個禮拜輪轉(zhuǎn)一次

# keep 4 weeks worth of backlogs
rotate 4  #4次輪轉(zhuǎn)

# create new (empty) log files after rotating old ones
create  #輪轉(zhuǎn)后創(chuàng)建一個空的日志文件

# use date as a suffix of the rotated file
dateext  #使用日期來后綴命名輪轉(zhuǎn)文件

#做一次輪轉(zhuǎn)
]# logrotate -f /etc/logrotate.conf

• 分析rsyslog日志條目
  -- 日志開頭為最早的日志信息鞠抑，結(jié)尾為最新的日志信息
  -- rsyslog服務(wù)在日志文件中記錄條目時采用一種標(biāo)準(zhǔn)的格式饭聚，如下：

(1)Apr 27 18:56:58 (2)serverb (3)systemd: (4)Started The Apache HTTP Server.
（1）：記錄該日志條目的時間戳
（2）：發(fā)送該日志消息的主機
（3）：發(fā)送該日志消息的程序或進程名稱和PID編號
（4）：發(fā)送的實際消息

• 監(jiān)控日志
  -- 使用tail命令可以監(jiān)控日志

]# tail -f /var/log/messages
#可以直接看日志打印

• 手動發(fā)送syslog消息
  logger命令可以發(fā)送消息到rsyslog服務(wù)。默認情況下搁拙，它將優(yōu)先級為notice秒梳。
  （mail.info）的消息發(fā)送給mail設(shè)備法绵，除非通過-p選項另有指定。這是對測試rsyslog服務(wù)配置更改很有用

[root@serverb rsyslog.d]# logger -p mail.info "test log"
[root@serverb rsyslog.d]# tail -1 /var/log/maillog
Apr 28 00:24:56 serverb root: test log

查看系統(tǒng)日志條目

• 查找事件
  -- systemd-journald服務(wù)將日志數(shù)據(jù)存儲在帶有索引的結(jié)構(gòu)化二進制文件中端幼，該文件稱為日志
  -- 要從日志文件中檢索日志消息礼烈，使用journalctl命令
  -- journalctl命令突出顯示重要的日志消息：優(yōu)先級為notice或warning的消息顯示為粗體文本，error消息則顯示紅色文本婆跑。

[root@serverb ~]# journalctl  #普通用戶使用該命令可能會被限制查看某些消息
-- Logs begin at Wed 2023-03-22 20:06:02 CST, end at Fri 2023-04-28 00:24:56 CST. --
Mar 22 20:06:02 localhost.localdomain systemd-journal[96]: Runtime journal is using 8.0M (max allowed 91.8M, trying to leave 137.8M free of 910.9M availabl
Mar 22 20:06:02 localhost.localdomain kernel: Initializing cgroup subsys cpuset
Mar 22 20:06:02 localhost.localdomain kernel: Initializing cgroup subsys cpu
Mar 22 20:06:02 localhost.localdomain kernel: Initializing cgroup subsys cpuacct
... ...  #退出按q

[root@serverb ~]# journalctl -n  #-n選項默認顯示最后10行消息
-- Logs begin at Wed 2023-03-22 20:06:02 CST, end at Fri 2023-04-28 00:24:56 CST. --
Apr 27 23:01:01 serverb run-parts(/etc/cron.hourly)[30783]: starting 0anacron
Apr 27 23:01:01 serverb run-parts(/etc/cron.hourly)[30789]: finished 0anacron
Apr 28 00:01:01 serverb systemd[1]: Started Session 209 of user root.
Apr 28 00:01:01 serverb CROND[1283]: (root) CMD (run-parts /etc/cron.hourly)
Apr 28 00:01:01 serverb run-parts(/etc/cron.hourly)[1286]: starting 0anacron
Apr 28 00:01:01 serverb anacron[1293]: Anacron started on 2023-04-28
Apr 28 00:01:01 serverb anacron[1293]: Normal exit (0 jobs run)
Apr 28 00:01:01 serverb run-parts(/etc/cron.hourly)[1295]: finished 0anacron
Apr 28 00:23:19 serverb root[2380]: log entry created on host
Apr 28 00:24:56 serverb root[2461]: test log

[root@serverb ~]# journalctl -n 5  #顯示最后5行命令
-- Logs begin at Wed 2023-03-22 20:06:02 CST, end at Fri 2023-04-28 00:24:56 CST. --
Apr 28 00:01:01 serverb anacron[1293]: Anacron started on 2023-04-28
Apr 28 00:01:01 serverb anacron[1293]: Normal exit (0 jobs run)
Apr 28 00:01:01 serverb run-parts(/etc/cron.hourly)[1295]: finished 0anacron
Apr 28 00:23:19 serverb root[2380]: log entry created on host
Apr 28 00:24:56 serverb root[2461]: test log

[root@serverb ~]# journalctl -f  #與tail -f命令相似此熬，新日志會持續(xù)輸出
-- Logs begin at Wed 2023-03-22 20:06:02 CST. --
Apr 27 23:01:01 serverb run-parts(/etc/cron.hourly)[30783]: starting 0anacron
Apr 27 23:01:01 serverb run-parts(/etc/cron.hourly)[30789]: finished 0anacron
Apr 28 00:01:01 serverb systemd[1]: Started Session 209 of user root.
Apr 28 00:01:01 serverb CROND[1283]: (root) CMD (run-parts /etc/cron.hourly)
Apr 28 00:01:01 serverb run-parts(/etc/cron.hourly)[1286]: starting 0anacron
Apr 28 00:01:01 serverb anacron[1293]: Anacron started on 2023-04-28
Apr 28 00:01:01 serverb anacron[1293]: Normal exit (0 jobs run)
Apr 28 00:01:01 serverb run-parts(/etc/cron.hourly)[1295]: finished 0anacron
Apr 28 00:23:19 serverb root[2380]: log entry created on host
Apr 28 00:24:56 serverb root[2461]: test log

-- 為了幫助問題進行故障排查，可能需要根據(jù)日志條目的優(yōu)先級過濾日志輸出滑进，可以使用journalctl -p跟上優(yōu)先級

[root@serverb ~]# journalctl -p err
-- Logs begin at Wed 2023-03-22 20:06:02 CST, end at Fri 2023-04-28 00:24:56 CST. --
Mar 22 21:09:21 serverb sudo[1867]:     user : user NOT in sudoers ; TTY=pts/0 ; PWD=/home/user ; USER=root ; COMMAND=/bin/bash
Mar 22 21:14:39 serverb sudo[1879]: pam_unix(sudo-i:auth): conversation failed
Mar 22 21:14:39 serverb sudo[1879]: pam_unix(sudo-i:auth): auth could not identify password for [user]
Mar 22 21:14:41 serverb sudo[1879]:     user : user NOT in sudoers ; TTY=pts/0 ; PWD=/home/user ; USER=root ; COMMAND=/bin/bash
Mar 22 21:16:45 serverb sudo[1915]:     user : user NOT in sudoers ; TTY=pts/0 ; PWD=/home/user ; USER=root ; COMMAND=/bin/bash
Mar 22 21:24:55 serverb sudo[2045]:     user : user NOT in sudoers ; TTY=pts/0 ; PWD=/home/user ; USER=root ; COMMAND=/bin/bash
Mar 22 21:37:42 serverb sudo[2127]:     user : user NOT in sudoers ; TTY=pts/0 ; PWD=/home/user ; USER=root ; COMMAND=/bin/bash
Mar 22 21:37:50 serverb sudo[2136]:     user : user NOT in sudoers ; TTY=pts/0 ; PWD=/home/user ; USER=root ; COMMAND=/bin/bash

-- 查找具體的事件時犀忱，可以將輸出限制為特定時間段，journalctl有兩個選項--since和--until

[root@myhost ~]# journalctl --since today  #查看今天的日志
#查看某段時間內(nèi)的日志
[root@myhost ~]# journalctl --since "2023-03-29 15:30:00" --until "2023-03-29 15:31:00"
#指定上一個小時的所有條目
[root@myhost ~]# journalctl --since "-1 hour"

-- 除了日志的可見內(nèi)容外扶关，還附帶了只有在打開詳細輸出時才可看到的字段

[root@myhost ~]# journalctl -o verbose -n 5
-- Logs begin at 四 2023-03-23 02:50:43 CST, end at 三 2023-03-29 20:21:19 CST. --
三 2023-03-29 20:21:09.392742 CST [s=4c65ae0d4aca4a79bbc335f97a66e398;i=3b60b;b=3830503512c342b99707e67f0fb4dda2;m=8e1455b4cf;t=5f80902d3f716;x=ed5e1382354
    _UID=0  #是運行該進程的用戶的UID
    _GID=0
    _CAP_EFFECTIVE=1fffffffff
    _BOOT_ID=3830503512c342b99707e67f0fb4dda2
    _MACHINE_ID=8027a11a7d0e40e7b63b463062feb818
    _HOSTNAME=myhost
    _TRANSPORT=syslog
    PRIORITY=3
    SYSLOG_FACILITY=10
    SYSLOG_IDENTIFIER=agetty
    MESSAGE=/dev/ttyS0: not a tty
    _COMM=agetty  #命令名稱
    _EXE=/usr/sbin/agetty  #是進程的可執(zhí)行文件的路徑
    _CMDLINE=/sbin/agetty --keep-baud 115200,38400,9600 ttyS0 vt220
    _SYSTEMD_CGROUP=/system.slice/system-serial\x2dgetty.slice/serial-getty@ttyS0.service
    _SYSTEMD_UNIT=serial-getty@ttyS0.service  #啟動該進程的systemd單元
    _SYSTEMD_SLICE=system-serial\x2dgetty.slice
    SYSLOG_PID=12112
    _PID=12112  #是進程的PID
    _SOURCE_REALTIME_TIMESTAMP=1680092469392742
... ...

-- 可以組合多個系統(tǒng)日志字段阴汇，以便在運行journalctl命令時形成精細的搜索查詢。

[root@myhost ~]# journalctl _SYSTEMD_UNIT=sshd.service _PID=2041
-- Logs begin at 四 2023-03-23 02:50:43 CST, end at 三 2023-03-29 20:28:30 CST. --
3月 28 20:45:32 myhost sshd[2041]: Accepted password for root from 192.168.2.142 port 51637 ssh2

保留系統(tǒng)日志

• 永久存儲系統(tǒng)日志
  -- 默認情況下节槐，日志保留在/run/log/journal中搀庶，重啟后日志會被清除；
  -- 可以在/etc/systemd/journald.conf中更改systemd-journald的服務(wù)的配置铜异，將日志在系統(tǒng)重啟后保留下來哥倔；
  -- 修改的參數(shù)有persistent（永久存儲在/var/log/journal中）、volatile（將日志存儲在易失的/run/log/journal目錄中）或auto（如果存在/var/log/journal目錄揍庄，那么rsyslog會持久存儲咆蒿，此為默認選項）；
  -- systemd-journald雖然是持久保存蚂子，但是并非永久保留沃测，該服務(wù)內(nèi)置的輪轉(zhuǎn)機制，每個月觸發(fā)一次且不超過文件系統(tǒng)的10%以及保證文件系統(tǒng)有至少15%可用空間食茎。
• 配置持久系統(tǒng)日志

#修改配置文件
[root@myhost ~]# vim /etc/systemd/journald.conf
[Journal]
Storage=persistent
... ...
#重啟服務(wù)蒂破，使配置生效
[root@myhost ~]# systemctl restart systemd-journald.service
#此時/var/log/journal目錄已創(chuàng)建
[root@myhost ~]# ls /var/log/journal/
8027a11a7d0e40e7b63b463062feb818
#只輸出上次啟動的日志
[root@myhost ~]# journalctl -b 1

維護準(zhǔn)確的時間

對于多個系統(tǒng)間分析日志文件而言，正確同步系統(tǒng)時間至關(guān)重要别渔。網(wǎng)絡(luò)時間協(xié)議(NTP)是計算機通過互聯(lián)網(wǎng)提供并獲取正確時間信息的一種標(biāo)準(zhǔn)方法寞蚌。

• timedatectl命令簡要顯示當(dāng)前的時間相關(guān)系統(tǒng)設(shè)置，如系統(tǒng)的當(dāng)前時間钠糊、時區(qū)和NTP同步設(shè)置。

image.png

• 系統(tǒng)還提供包含時區(qū)的數(shù)據(jù)庫

[root@serverb ~]# timedatectl list-timezones
Africa/Abidjan
Africa/Accra
Africa/Addis_Ababa
Africa/Algiers
Africa/Asmara
Africa/Bamako
... ...

• 可以使用timedatectl set-timezones來設(shè)置時區(qū)

image.png

• 可以使用timedatectl set-time來設(shè)置本地時間

[root@serverb ~]# timedatectl set-time 21:03
[root@serverb ~]# timedatectl
      Local time: Fri 2023-04-28 21:03:02 CST

• 可以使用timedatectl set-ntp命令來啟用和禁用NTP同步

image.png

• 配置和監(jiān)控chronyd
  -- RHEL8+默認使用chronyd服務(wù)向NTP服務(wù)同步時間壹哺，使通常不準(zhǔn)確的本地硬件時鐘（RTC）保持正確運行抄伍；
  -- 如果沒有可用網(wǎng)絡(luò)連接，chronyd將計算RTC時鐘漂移管宵，記錄在/etc/chronyd.conf配置文件指定的driftfile變量中

#安裝chrony包
[root@serverb ~]# dnf install -y chrony
#修改時間源
[root@serverb ~]# vim /etc/chrony.conf
... ...
server ntp.aliyun.com iburst  #可以使用網(wǎng)絡(luò)時間源或指定某一臺時間服務(wù)器
... ...
#重啟生效
[root@serverb ~]# systemctl restart chronyd

• chronyc命令充當(dāng)chronyd服務(wù)的客戶端截珍，設(shè)置ntp同步后攀甚，應(yīng)當(dāng)使用chronyc sources命令驗證本地系統(tǒng)是否使用ntp服務(wù)無縫同步系統(tǒng)時間

[root@serverb ~]# chronyc sources -v
210 Number of sources = 1

  .-- Source mode  '^' = server, '=' = peer, '#' = local clock.
 / .- Source state '*' = current synced, '+' = combined , '-' = not combined,
| /   '?' = unreachable, 'x' = time may be in error, '~' = time too variable.
||                                                 .- xxxx [ yyyy ] +/- zzzz
||      Reachability register (octal) -.           |  xxxx = adjusted offset,
||      Log2(Polling interval) --.      |          |  yyyy = measured offset,
||                                \     |          |  zzzz = estimated error.
||                                 |    |           \
MS Name/IP address         Stratum Poll Reach LastRx Last sample
===============================================================================
^* 203.107.6.88                  2   6   377    60   -714us[-1315us] +/-   20ms