Loguru：Python 日志終極解決方案

日志的重要性

日志的作用非常重要，日志可以記錄用戶的操作、程序的異常壹哺，還可以為數(shù)據(jù)分析提供依據(jù)，日志的存在意義就是為了能夠在程序在運行過程中記錄錯誤艘刚，方便維護和調試管宵，能夠快速定位出錯的地方，減少維護成本。每個程序員都應該知道箩朴，不是為了記錄日志而記錄日志岗喉，日志也不是隨意記的。要實現(xiàn)能夠只通過日志文件還原整個程序執(zhí)行的過程隧饼，達到能透明地看到程序里執(zhí)行情況沈堡，每個線程、每個過程到底執(zhí)行到哪的目的燕雁。日志就像飛機的黑匣子一樣诞丽，應當能夠復原異常的整個現(xiàn)場乃至細節(jié)！

常見日志記錄方式

print()

最常見的是把輸出函數(shù) print() 當作日志記錄的方式拐格，直接打印各種提示信息僧免，常見于個人練習項目里，通常是懶得單獨配置日志捏浊，而且項目太小不需要日志信息懂衩，不需要上線，不需要持續(xù)運行金踪，完整的項目不推薦直接打印日志信息浊洞，現(xiàn)實中也幾乎沒有人這么做。

自寫模板

我們可以在不少小項目里面看到作者自己寫了一個日志模板胡岔，通常利用 print() 或者 sys.stdout 稍微封裝一下即可實現(xiàn)簡單的日志輸出法希，這里的 sys.stdout 是 Python 中的標準輸出流，print() 函數(shù)是對 sys.stdout 的高級封裝靶瘸，當我們在 Python 中打印對象調用 print(obj) 時候苫亦，事實上是調用了 sys.stdout.write(obj+'\n')，print() 將內容打印到了控制臺怨咪，然后追加了一個換行符 \n屋剑。

自寫日志模板適合比較小的項目，可以按照自己的喜好編寫模板诗眨，不需要太多復雜配置唉匾，方便快捷，但是這種記錄日志的方式并不是很規(guī)范辽话，有可能你自己覺得閱讀體驗不錯肄鸽，但是別人在接觸你的項目的時候往往需要花費一定的時間去學習日志的邏輯、格式油啤、輸出方式等典徘，比較大的項目同樣不推薦這種方法。

一個簡單的自寫日志模板舉例：

日志模板 log.py：

import sys
import traceback
import datetime


def getnowtime():
    return datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")


def _log(content, level, *args):
    sys.stdout.write("%s - %s - %s\n" % (getnowtime(), level, content))
    for arg in args:
        sys.stdout.write("%s\n" % arg)


def debug(content, *args):
    _log(content, 'DEBUG', *args)


def info(content, *args):
    _log(content, 'INFO', *args)


def warn(content, *args):
    _log(content, 'WARN', *args)


def error(content, *args):
    _log(content, 'ERROR', *args)


def exception(content):
    sys.stdout.write("%s - %s\n" % (getnowtime(), content))
    traceback.print_exc(file=sys.stdout)

調用日志模塊：

import log


log.info("This is log info!")
log.warn("This is log warn!")
log.error("This is log error!")
log.debug("This is log debug!")

people_info = {"name": "Bob", "age": 20}

try:
    gender = people_info["gender"]
except Exception as error:
    log.exception(error)

日志輸出：

2021-10-19 09:50:58 - INFO - This is log info!
2021-10-19 09:50:58 - WARN - This is log warn!
2021-10-19 09:50:58 - ERROR - This is log error!
2021-10-19 09:50:58 - DEBUG - This is log debug!
2021-10-19 09:50:58 - 'gender'
Traceback (most recent call last):
  File "D:/python3Project/test.py", line 18, in <module>
    gender = people_info["gender"]
KeyError: 'gender'

Logging

在一個完整的項目中益咬，大多數(shù)人都會引入專門的日志記錄庫逮诲，而 Python 自帶的標準庫 logging 就是專門為日志記錄而生的帜平，logging 模塊定義的函數(shù)和類為應用程序和庫的開發(fā)實現(xiàn)了一個靈活的事件日志系統(tǒng)。由標準庫模塊提供日志記錄 API 的關鍵好處是所有 Python 模塊都可以使用這個日志記錄功能梅鹦。所以裆甩，你的應用日志可以將你自己的日志信息與來自第三方模塊的信息整合起來。

logging 模塊雖然強大齐唆，但是其配置也是比較繁瑣的嗤栓，在大型項目中通常需要單獨初始化日志、配置日志格式等等箍邮，K哥在日常使用中通常都會對 logging 做如下的封裝寫法茉帅，使日志可以按天保存，保留15天的日志锭弊，可以配置是否輸出到控制臺和文件堪澎，如下所示：

# 實現(xiàn)按天分割保留日志


import os
import sys
import logging
from logging import handlers


PARENT_DIR = os.path.split(os.path.realpath(__file__))[0]  # 父目錄
LOGGING_DIR = os.path.join(PARENT_DIR, "log")              # 日志目錄
LOGGING_NAME = "test"                                      # 日志文件名

LOGGING_TO_FILE = True                                     # 日志輸出文件
LOGGING_TO_CONSOLE = True                                  # 日志輸出到控制臺

LOGGING_WHEN = 'D'                                         # 日志文件切分維度
LOGGING_INTERVAL = 1                                       # 間隔少個 when 后，自動重建文件
LOGGING_BACKUP_COUNT = 15                                  # 日志保留個數(shù)味滞，0 保留所有日志
LOGGING_LEVEL = logging.DEBUG                              # 日志等級
LOGGING_suffix = "%Y.%m.%d.log"                            # 舊日志文件名

# 日志輸出格式
LOGGING_FORMATTER = "%(levelname)s - %(asctime)s - process:%(process)d - %(filename)s - %(name)s - line:%(lineno)d - %(module)s - %(message)s"


def logging_init():
    if not os.path.exists(LOGGING_DIR):
        os.makedirs(LOGGING_DIR)
    logger = logging.getLogger()
    logger.setLevel(LOGGING_LEVEL)
    formatter = logging.Formatter(LOGGING_FORMATTER)

    if LOGGING_TO_FILE:
        file_handler = handlers.TimedRotatingFileHandler(filename=os.path.join(LOGGING_DIR, LOGGING_NAME), when=LOGGING_WHEN, interval=LOGGING_INTERVAL, backupCount=LOGGING_BACKUP_COUNT)
        file_handler.suffix = LOGGING_suffix
        file_handler.setFormatter(formatter)
        logger.addHandler(file_handler)

    if LOGGING_TO_CONSOLE:
        stream_handler = logging.StreamHandler(sys.stderr)
        stream_handler.setFormatter(formatter)
        logger.addHandler(stream_handler)


def logging_test():
    logging.info("This is log info!")
    logging.warning("This is log warn!")
    logging.error("This is log error!")
    logging.debug("This is log debug!")
    people_info = {"name": "Bob", "age": 20}

    try:
        gender = people_info["gender"]
    except Exception as error:
        logging.exception(error)


if __name__ == "__main__":
    logging_init()
    logging_test()

輸出日志：

INFO - 2021-10-19 11:28:10,103 - process:15144 - test.py - root - line:52 - test - This is log info!
WARNING - 2021-10-19 11:28:10,105 - process:15144 - test.py - root - line:53 - test - This is log warn!
ERROR - 2021-10-19 11:28:10,105 - process:15144 - test.py - root - line:54 - test - This is log error!
DEBUG - 2021-10-19 11:28:10,105 - process:15144 - test.py - root - line:55 - test - This is log debug!
ERROR - 2021-10-19 11:28:10,105 - process:15144 - test.py - root - line:61 - test - 'gender'
Traceback (most recent call last):
  File "D:/python3Project/test.py", line 59, in logging_test
    gender = people_info["gender"]
KeyError: 'gender'

它在控制臺中是這樣的：

02.png

當然樱蛤，如果你不需要很復雜的功能，希望簡潔一點剑鞍，僅僅需要在控制臺輸出一下日志的話昨凡，也可以只進行簡單的配置：

import logging
logging.basicConfig(level=logging.DEBUG, format='%(asctime)s - %(name)s - %(levelname)s - %(message)s')
logging.getLogger()

更優(yōu)雅的解決方案：Loguru

對于 logging 模塊，即便是簡單的使用蚁署，也需要自己定義格式土匀，這里介紹一個更加優(yōu)雅、高效形用、簡潔的第三方模塊：loguru，官方的介紹是：Loguru is a library which aims to bring enjoyable logging in Python. Loguru 旨在為 Python 帶來愉快的日志記錄证杭。這里引用官方的一個 GIF 來快速演示其功能：

01.gif

安裝

Loguru 僅支持 Python 3.5 及以上的版本田度，使用 pip 安裝即可：

pip install loguru

開箱即用

Loguru 的主要概念是只有一個：logger

from loguru import logger

logger.info("This is log info!")
logger.warning("This is log warn!")
logger.error("This is log error!")
logger.debug("This is log debug!")

控制臺輸出：

03.png

可以看到不需要手動設置，Loguru 會提前配置一些基礎信息解愤，自動輸出時間镇饺、日志級別、模塊名送讲、行號等信息奸笤，而且根據(jù)等級的不同，還自動設置了不同的顏色哼鬓，方便觀察监右，真正做到了開箱即用！

add() / remove()

如果想自定義日志級別异希，自定義日志格式健盒，保存日志到文件該怎么辦？與 logging 模塊不同，不需要 Handler扣癣，不需要 Formatter惰帽，只需要一個 add() 函數(shù)就可以了，例如我們想把日志儲存到文件：

from loguru import logger

logger.add('test.log')
logger.debug('this is a debug')

我們不需要像 logging 模塊一樣再聲明一個 FileHandler 了父虑，就一行 add() 語句搞定该酗，運行之后會發(fā)現(xiàn)目錄下 test.log 里面同樣出現(xiàn)了剛剛控制臺輸出的 debug 信息。

與 add() 語句相反士嚎，remove() 語句可以刪除我們添加的配置：

from loguru import logger

log_file = logger.add('test.log')
logger.debug('This is log debug!')
logger.remove(log_file)
logger.debug('This is another log debug!')

此時控制臺會輸出兩條 debug 信息：

2021-10-19 13:53:36.610 | DEBUG    | __main__:<module>:86 - This is log debug!
2021-10-19 13:53:36.611 | DEBUG    | __main__:<module>:88 - This is another log debug!

而 test.log 日志文件里面只有一條 debug 信息呜魄，原因就在于我們在第二條 debug 語句之前使用了 remove() 語句航邢。

完整參數(shù)

Loguru 對輸出到文件的配置有非常強大的支持耕赘，比如支持輸出到多個文件，分級別分別輸出操骡，過大創(chuàng)建新文件勒极，過久自動刪除等等是掰。 下面我們來詳細看一下 add() 語句的詳細參數(shù)：

基本語法：

add(sink, *, level='DEBUG', format='<green>{time:YYYY-MM-DD HH:mm:ss.SSS}</green> | <level>{level: <8}</level> | <cyan>{name}</cyan>:<cyan>{function}</cyan>:<cyan>{line}</cyan> - <level>{message}</level>', filter=None, colorize=None, serialize=False, backtrace=True, diagnose=True, enqueue=False, catch=True, **kwargs)

基本參數(shù)釋義：

  • sink：可以是一個 file 對象，例如 sys.stderr 或 open('file.log', 'w')辱匿，也可以是 str 字符串或者 pathlib.Path 對象键痛，即文件路徑，也可以是一個方法匾七，可以自行定義輸出實現(xiàn)絮短，也可以是一個 logging 模塊的 Handler，比如 FileHandler昨忆、StreamHandler 等丁频，還可以是 coroutine function，即一個返回協(xié)程對象的函數(shù)等邑贴。
  • level：日志輸出和保存級別席里。
  • format：日志格式模板。
  • filter：一個可選的指令拢驾，用于決定每個記錄的消息是否應該發(fā)送到 sink奖磁。
  • colorize：格式化消息中包含的顏色標記是否應轉換為用于終端著色的 ansi 代碼，或以其他方式剝離独旷。 如果沒有署穗，則根據(jù) sink 是否為 tty（電傳打字機縮寫） 自動做出選擇寥裂。
  • serialize：在發(fā)送到 sink 之前，是否應首先將記錄的消息轉換為 JSON 字符串案疲。
  • backtrace：格式化的異常跟蹤是否應該向上擴展封恰，超出捕獲點，以顯示生成錯誤的完整堆棧跟蹤褐啡。
  • diagnose：異常跟蹤是否應顯示變量值以簡化調試诺舔。建議在生產環(huán)境中設置 False，避免泄露敏感數(shù)據(jù)备畦。
  • enqueue：要記錄的消息是否應在到達 sink 之前首先通過多進程安全隊列低飒，這在通過多個進程記錄到文件時很有用，這樣做的好處還在于使日志記錄調用是非阻塞的懂盐。
  • catch：是否應自動捕獲 sink 處理日志消息時發(fā)生的錯誤褥赊，如果為 True，則會在 sys.stderr 上顯示異常消息莉恼，但該異常不會傳播到 sink拌喉，從而防止應用程序崩潰。
  • **kwargs：僅對配置協(xié)程或文件接收器有效的附加參數(shù)（見下文）俐银。

當且僅當 sink 是協(xié)程函數(shù)時尿背，以下參數(shù)適用：

  • loop：將在其中調度和執(zhí)行異步日志記錄任務的事件循環(huán)。如果為 None捶惜，將使用 asyncio.get_event_loop() 返回的循環(huán)田藐。

當且僅當 sink 是文件路徑時，以下參數(shù)適用：

  • rotation：一種條件吱七，指示何時應關閉當前記錄的文件并開始新的文件汽久。
  • **retention **：過濾舊文件的指令，在循環(huán)或程序結束期間會刪除舊文件踊餐。
  • compression：日志文件在關閉時應轉換為的壓縮或存檔格式回窘。
  • delay：是在配置 sink 后立即創(chuàng)建文件，還是延遲到第一條記錄的消息時再創(chuàng)建市袖。默認為 False。
  • mode：內置 open() 函數(shù)的打開模式烁涌，默認為 a（以追加模式打開文件）苍碟。
  • buffering：內置 open() 函數(shù)的緩沖策略，默認為1（行緩沖文件）撮执。
  • encoding：內置 open() 函數(shù)的文件編碼微峰，如果 None，則默認為 locale.getpreferredencoding()抒钱。
  • **kwargs：其他傳遞給內置 open() 函數(shù)的參數(shù)蜓肆。

這么多參數(shù)可以見識到 add() 函數(shù)的強大之處颜凯，僅僅一個函數(shù)就能實現(xiàn) logging 模塊的諸多功能，接下來介紹幾個比較常用的方法仗扬。

rotation 日志文件分隔

add() 函數(shù)的 rotation 參數(shù)症概，可以實現(xiàn)按照固定時間創(chuàng)建新的日志文件，比如設置每天 0 點新創(chuàng)建一個 log 文件：

logger.add('runtime_{time}.log', rotation='00:00')

設置超過 500 MB 新創(chuàng)建一個 log 文件：

logger.add('runtime_{time}.log', rotation="500 MB")

設置每隔一個周新創(chuàng)建一個 log 文件：

logger.add('runtime_{time}.log', rotation='1 week')

retention 日志保留時間

add() 函數(shù)的 retention 參數(shù)早芭，可以設置日志的最長保留時間彼城，比如設置日志文件最長保留 15 天：

logger.add('runtime_{time}.log', retention='15 days')

設置日志文件最多保留 10 個：

logger.add('runtime_{time}.log', retention=10)

也可以是一個 datetime.timedelta 對象，比如設置日志文件最多保留 5 個小時：

import datetime
from loguru import logger

logger.add('runtime_{time}.log', retention=datetime.timedelta(hours=5))

compression 日志壓縮格式

add() 函數(shù)的 compression 參數(shù)退个，可以配置日志文件的壓縮格式募壕，這樣可以更加節(jié)省存儲空間，比如設置使用 zip 文件格式保存：

logger.add('runtime_{time}.log', compression='zip')

其格式支持：gz语盈、bz2舱馅、xz、lzma刀荒、tar代嗤、tar.gz、tar.bz2照棋、tar.xz

字符串格式化

Loguru 在輸出 log 的時候還提供了非常友好的字符串格式化功能资溃，相當于 str.format()：

logger.info('If you are using Python {}, prefer {feature} of course!', 3.6, feature='f-strings')

輸出：

2021-10-19 14:59:06.412 | INFO     | __main__:<module>:3 - If you are using Python 3.6, prefer f-strings of course!

異常追溯

在 Loguru 里可以直接使用它提供的裝飾器就可以直接進行異常捕獲，而且得到的日志是無比詳細的：

from loguru import logger


@logger.catch
def my_function(x, y, z):
    # An error? It's caught anyway!
    return 1 / (x + y + z)


my_function(0, 0, 0)

日志輸出：

2021-10-19 15:04:51.675 | ERROR    | __main__:<module>:10 - An error has been caught in function '<module>', process 'MainProcess' (30456), thread 'MainThread' (26268):
Traceback (most recent call last):

> File "D:/python3Project\test.py", line 10, in <module>
    my_function(0, 0, 0)
    └ <function my_function at 0x014CDFA8>

  File "D:/python3Project\test.py", line 7, in my_function
    return 1 / (x + y + z)
                │   │   └ 0
                │   └ 0
                └ 0

ZeroDivisionError: division by zero

在控制臺的輸出是這樣的：

04.png

相比 Logging烈炭，Loguru 無論是在配置方面溶锭、日志輸出樣式還是異常追蹤，都遠優(yōu)于 Logging符隙，使用 Loguru 無疑能提升開發(fā)人員效率趴捅。本文僅介紹了一些常用的方法，想要詳細了解可參考 Loguru 官方文檔或關注 Loguru GitHub霹疫。

最后編輯于 ：
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
  • 人面猴
    序言：七十年代末拱绑，一起剝皮案震驚了整個濱河市，隨后出現(xiàn)的幾起案子丽蝎，更是在濱河造成了極大的恐慌猎拨，老刑警劉巖，帶你破解...
    沈念sama閱讀 206,968評論 6贊 482
  • 死咒
    序言：濱河連續(xù)發(fā)生了三起死亡事件屠阻，死亡現(xiàn)場離奇詭異红省，居然都是意外死亡，警方通過查閱死者的電腦和手機国觉，發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,601評論 2贊 382
  • 救了他兩次的神仙讓他今天三更去死
    文/潘曉璐 我一進店門吧恃，熙熙樓的掌柜王于貴愁眉苦臉地迎上來，“玉大人麻诀，你說我怎么就攤上這事痕寓“磷恚” “怎么了？”我有些...
    開封第一講書人閱讀 153,220評論 0贊 344
  • 道士緝兇錄：失蹤的賣姜人
    文/不壞的土叔 我叫張陵呻率，是天一觀的道長硬毕。 經常有香客問我，道長筷凤，這世上最難降的妖魔是什么昭殉？ 我笑而不...
    開封第一講書人閱讀 55,416評論 1贊 279
  • ?港島之戀（遺憾婚禮）
    正文 為了忘掉前任，我火速辦了婚禮藐守，結果婚禮上挪丢，老公的妹妹穿的比我還像新娘。我一直安慰自己卢厂，他們只是感情好乾蓬，可當我...
    茶點故事閱讀 64,425評論 5贊 374
  • 惡毒庶女頂嫁案：這布局不是一般人想出來的
    文/花漫 我一把揭開白布。 她就那樣靜靜地躺著慎恒，像睡著了一般任内。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上融柬，一...
    開封第一講書人閱讀 49,144評論 1贊 285
  • 城市分裂傳說
    那天死嗦，我揣著相機與錄音，去河邊找鬼粒氧。 笑死越除，一個胖子當著我的面吹牛，可吹牛的內容都是我干的外盯。 我是一名探鬼主播摘盆，決...
    沈念sama閱讀 38,432評論 3贊 401
  • 雙鴛鴦連環(huán)套：你想象不到人心有多黑
    文/蒼蘭香墨 我猛地睜開眼，長吁一口氣：“原來是場噩夢啊……” “哼饱苟！你這毒婦竟也來了孩擂？” 一聲冷哼從身側響起，我...
    開封第一講書人閱讀 37,088評論 0贊 261
  • 萬榮殺人案實錄
    序言：老撾萬榮一對情侶失蹤箱熬，失蹤者是張志新（化名）和其女友劉穎类垦，沒想到半個月后，有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體城须，經...
    沈念sama閱讀 43,586評論 1贊 300
  • ?護林員之死
    正文 獨居荒郊野嶺守林人離奇死亡护锤，尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 36,028評論 2贊 325
  • ?白月光啟示錄
    正文 我和宋清朗相戀三年，在試婚紗的時候發(fā)現(xiàn)自己被綠了酿傍。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 38,137評論 1贊 334
  • 活死人
    序言：一個原本活蹦亂跳的男人離奇死亡驱入，死狀恐怖赤炒，靈堂內的尸體忽然破棺而出氯析，到底是詐尸還是另有隱情，我是刑警寧澤莺褒，帶...
    沈念sama閱讀 33,783評論 4贊 324
  • ?日本核電站爆炸內幕
    正文 年R本政府宣布掩缓，位于F島的核電站，受9級特大地震影響遵岩，放射性物質發(fā)生泄漏你辣。R本人自食惡果不足惜，卻給世界環(huán)境...
    茶點故事閱讀 39,343評論 3贊 307
  • 男人毒藥：我在死后第九天來索命
    文/蒙蒙 一尘执、第九天 我趴在偏房一處隱蔽的房頂上張望舍哄。 院中可真熱鬧，春花似錦誊锭、人聲如沸表悬。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,333評論 0贊 19
  • 一樁弒父案丧靡，背后竟有這般陰謀
    文/蒼蘭香墨 我抬頭看了看天上的太陽蟆沫。三九已至，卻和暖如春温治，著一層夾襖步出監(jiān)牢的瞬間饭庞，已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 31,559評論 1贊 262
  • 情欲美人皮
    我被黑心中介騙來泰國打工熬荆， 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留舟山，地道東北人。 一個月前我還...
    沈念sama閱讀 45,595評論 2贊 355
  • 代替公主和親
    正文 我出身青樓惶看，卻偏偏與公主長得像捏顺，于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子纬黎，可洞房花燭夜當晚...
    茶點故事閱讀 42,901評論 2贊 345

推薦閱讀更多精彩內容

  • 在 Python 中幅骄，一般情況下我們可能直接用自帶的 logging 模塊來記錄日志，包括我之前的時候也是一樣本今。在...
    羋學僧閱讀 521評論 0贊 0
  • 在 Python 中拆座，一般情況下我們可能直接用自帶的 logging 模塊來記錄日志，包括我之前的時候也是一樣冠息。在...
    葡萄_ac1c閱讀 325評論 0贊 1
  • 背景 隨著業(yè)務的快速發(fā)展挪凑，各種服務和組件也要隨著增加或擴容，服務器的臺數(shù)隨之增加逛艰，這樣給日志運維帶來很大的問題躏碳。如...
    那些年未曾努力過閱讀 6,611評論 0贊 3
  • 概述 對于一個分布式平臺來說，日志收集處理是一個不可或缺的功能散怖。目前菇绵，ELK Stack 已經成為最流行的集中式日...
    張家鋒閱讀 6,237評論 0贊 2
  • 16宿命：用概率思維提高你的勝算 以前的我是風險厭惡者肄渗，不喜歡去冒險，但是人生放棄了冒險咬最，也就放棄了無數(shù)的可能翎嫡。 ...
    yichen大刀閱讀 6,033評論 0贊 4