python筆記_logging模塊(一)

logging模塊是python中的常用模塊编矾,我計(jì)劃用兩到三篇文章來(lái)詳細(xì)的介紹一下這個(gè)模塊的用法永高。第一篇文章主要是講logging的主干源碼帆调,如果想直接看logging的用法咐鹤,可以等第二篇。

參考的logging版本是python2.7.3侨核,我將logging源碼加上了中文注釋放在我的github上
https://github.com/Stan-He/python_learn/tree/master/learn_logging

1.開(kāi)始

最開(kāi)始草穆,我們用最短的代碼體驗(yàn)一下logging的基本功能

import logging

loger=logging.getLoger()
logging.basicConfig()
loger.setLevel('DEBUG')
loger.debug('logsomething')
#輸出
out>>DEBUG:root:logsomething
  • 第一步,通過(guò)logging.getLoger函數(shù)搓译,獲得一個(gè)loger對(duì)象悲柱,但這個(gè)對(duì)象暫時(shí)是無(wú)法使用的。
  • 第二步些己,logging.basicConfig函數(shù)豌鸡,進(jìn)行一系列默認(rèn)的配置嘿般,包括format、handler等涯冠。
  • 第三步炉奴、loger調(diào)用setLevel函數(shù)定義日志級(jí)別為DEBUG
  • 最后,logger調(diào)用debug函數(shù)蛇更,輸出一條debug級(jí)別的message瞻赶,顯示在了標(biāo)準(zhǔn)輸出上

2.logging中的日志級(jí)別

logging在生成日志的時(shí)候,有一個(gè)日志級(jí)別的機(jī)制派任,默認(rèn)有以下幾個(gè)日志級(jí)別:

CRITICAL = 50
ERROR = 40
WARNING = 30
INFO = 20
DEBUG = 10
NOTSET = 0

每一個(gè)logger對(duì)象砸逊,都有一個(gè)日志級(jí)別,它只會(huì)輸出高于它level的日志掌逛。如果一個(gè)logger的level是INFO师逸,那么調(diào)用logger.debug()是無(wú)法輸出日志的,而logger.warning()能夠輸出豆混。

一般來(lái)說(shuō)篓像,以上的6個(gè)日志級(jí)別完全滿足我們?nèi)粘J褂昧恕?/strong>

3.logging中的基礎(chǔ)類

logging是python中的一個(gè)基礎(chǔ)模塊,它在python中的源碼位置如下:

#主干代碼
/usr/lib/python2.7/logging/__init__.py 
#擴(kuò)展的handler和config
/usr/lib/python2.7/logging/config.py
/usr/lib/python2.7/logging/handlers.py

組成logging的主干的幾個(gè)基礎(chǔ)類都在__init__.py中:

3.1 第一個(gè)基礎(chǔ)類 LogRecord

一個(gè)LogRecord對(duì)象皿伺,對(duì)應(yīng)了日志中的一行數(shù)據(jù)员辩。通常包含:時(shí)間、日志級(jí)別心傀、message信息屈暗、當(dāng)前執(zhí)行的模塊拆讯、行號(hào)脂男、函數(shù)名……這些信息都包含在一個(gè)LogRecord對(duì)象里。
LogRecord對(duì)象可以想象成一個(gè)大字典

class LogRecord(object):
    #代表一條日志的類
    def getMessage(self):
        #獲取self.msg

def makeLogRecord(dict):
    #這個(gè)方法很重要种呐,生成一個(gè)空的LogRecord宰翅,然后通過(guò)一個(gè)字典,直接更新LogRecord中的成員變量
    rv = LogRecord(None, None, "", 0, "", (), None, None)
    rv.__dict__.update(dict)
    return rv    

3.2 第二個(gè)基礎(chǔ)類 Formatter

Formatter對(duì)象是用來(lái)定義日志格式的爽室,LogRecord保存了很多信息汁讼,但是打日志的時(shí)候我們只需要其中幾個(gè),F(xiàn)ormatter就提供了這樣的功能阔墩,它依賴于python的一個(gè)功能:

#通過(guò)字典的方式,輸出格式化字符串
print '%(name)s:%(num)d' % {'name':'my_name','num': 100}
out>>my_name:100

如果說(shuō)LogRecord是后面的那個(gè)字典嘿架,那么Formatter就是前面的那個(gè)格式字符串……的抽象

重要的代碼如下:

class Formatter(object):
    def __init__(self,fmt=None,datefmt=None):
        if fmt:
            self._fmt = fmt
        else:
            #默認(rèn)的format
            self._fmt = "%(message)s"
    def format(self,record)
        #使用self._fmt進(jìn)行格式化
        s=self._fmt % record.__dict__
        return s

3.3 第三個(gè)基礎(chǔ)類 Filter和Filterer

Filter類,功能很簡(jiǎn)單啸箫。Flter.filter()函數(shù)傳入一個(gè)LogRecord對(duì)象耸彪,通過(guò)篩選返回1,否則返回0忘苛。從代碼中可以看到蝉娜,其實(shí)是對(duì)LogRecord.name的篩選唱较。

Filterer類中有一個(gè)Filter對(duì)象的列表,它是一組Filter的抽象召川。

重要的代碼如下:

class Filter(object):
    def __init__(self,name=''):
        self.name=name
        self.nlen=len(name)
    def filter(self,record)
        #返回1表示record通過(guò)南缓,0表示record不通過(guò)
        if self.nlen==0:
            return 1
        elif self.name==record.name:
            return 1
        #record.name不是以filter開(kāi)頭
        elif record.name.find(self.name,0,self.nlen) !=0:
            return 0
        #最后一位是否為.
        return (record.name[self.nlen] == ".") 

class Filterer(object):
    #這個(gè)類其實(shí)是定義了一個(gè)self.filters=[]的列表管理多個(gè)filter
    def addFilter(self,filter)
    def removeFilter(self,filter)
    def filter(self,record):
        #使用列表中所有的filter進(jìn)行篩選,任何一個(gè)失敗都會(huì)返回0
        #例如:
        #filter1.name='A',filter2.name='A.B',filter3.name='A.B.C'
        #此時(shí)record.name='A.B.C.D'這樣的record才能通過(guò)所有filter的篩選

4. logging中的高級(jí)類

有了以上三個(gè)基礎(chǔ)的類荧呐,就可以拼湊一些更重要的高級(jí)類了汉形,高級(jí)類可以實(shí)現(xiàn)logging的重要功能。

4.1 Handler——抽象了log的輸出過(guò)程

  • Handler類繼承自Filterer倍阐。Handler類是log輸出這個(gè)過(guò)程的抽象获雕。
  • 同時(shí)Handler類具有一個(gè)成員變量self.level,在第二節(jié)討論的日志級(jí)別的機(jī)制,就是在Handler中實(shí)現(xiàn)的收捣。
  • Handler有一個(gè)emit(record)函數(shù)届案,這個(gè)函數(shù)負(fù)責(zé)輸出log,必須在Handler的子類中實(shí)現(xiàn)罢艾。

重要代碼如下:

class Handler(Filterer):
    def __init__(self,level=NOTSET):
        #handler必須有l(wèi)evel屬性
        self.level=_checkLevel(level)
    def format(self,record):
        #使用self.formatter楣颠,formatrecord
    def handle(self,record):
        #如果通過(guò)filter的篩選,則emit這條log
        rv=self.filter(record)
        self.emit(record)
    def emit(self咐蚯,record):
        #等待子類去實(shí)現(xiàn)

接下來(lái)看兩個(gè)簡(jiǎn)單的handler的子類童漩,其實(shí)在logging源碼中,有一個(gè)handler.py專門定義了很多更復(fù)雜的handler春锋,有的可以將log緩存在內(nèi)存中矫膨,有的可以將log做rotation等

4.1.1 StreamHandler

最簡(jiǎn)單的handler實(shí)現(xiàn),將log寫入一個(gè)流中期奔,默認(rèn)的stream是sys.stderr

重要的代碼如下:

class StreamHandler(Handler):
    def __init__(self, stream=None):
        if stream is None:
            stream=sys.stderr
        self.stream=stream
    def emit(self,record):
        #將record的信息寫入流中
        #處理一些編碼的異常
        fs='%s\n' #每條日志都有換行
        stream=self.stream
        stream.write(fs % msg)
4.1.2 FileHandler

將log輸出到文件的handler侧馅,繼承自StreamHandler

重要代碼如下:

class FileHandler(StreamHandler):
    def __init__(self,filename, mode='a'):
        #append方式,打開(kāi)一個(gè)文件
        StreamHandler.__init__(self, self._open())
    def emit(self,record):
        #和streamhandler保持一致
        StreamHandler.emit(self, record)

4.2 Logger —— 一個(gè)獨(dú)立的log管道

什么是logger呐萌?

  • logger類繼承自Filterer馁痴,
  • logger對(duì)象有l(wèi)ogger.level日志級(jí)別
  • logger對(duì)象控制多個(gè)handler:logger.handlers=[]
  • logger對(duì)象之間存在父子關(guān)系

簡(jiǎn)單的來(lái)說(shuō),logger這個(gè)類肺孤,集中了我們以上所有的LogRecord類罗晕、Filter類、Formatter類赠堵、handler類小渊。首先,logger根據(jù)輸入生成一個(gè)LogRecord對(duì)象茫叭,經(jīng)過(guò)Filter和Formatter之后酬屉,再通過(guò)self.handlers列表中的所有handler,把log發(fā)送出去杂靶。一個(gè)logger中可能有多個(gè)handler梆惯,可以實(shí)現(xiàn)把一份log放到多個(gè)任意的位置酱鸭。

重要代碼:

class Logger(Filterer):
    def __init__ (self,name,level=NONSET):
        #handler列表
        self.handlers=[]
        self.level=_checkLevel(level)
    def addHandler(self,hdlr):
    def removeHandler(self,hdlr):
    def _log(self, level, msg, args, exc_info=None, extra=None):
        #在_log函數(shù)中創(chuàng)建了一個(gè)LogRecord對(duì)象
        record = self.makeRecord(self.name, level, fn, lno, msg, args, exc_info, func, extra)
        #交給handle函數(shù)
        self.handle(record)
    def handle(self,record):
        #進(jìn)行filter,然后調(diào)用callHandlers
        if (not self.disabled) and self.filter(record):
            self.callHandlers(record)
    def callHandlers(self, record): 
        #從當(dāng)前l(fā)ogger到所有的父logger垛吗,遞歸的handl傳入的record
        c=self
        while c:
            for hdlr in c.handlers:
                hdlr.handle(record) #進(jìn)入handler的emit函數(shù)發(fā)送log
            ……
            c=c.parent

4.3 Manager —— 管理logger的類

Manager這個(gè)類凹髓,對(duì)用戶其實(shí)是不可見(jiàn)的,如果生成了Logger怯屉,Manager就會(huì)自動(dòng)存在蔚舀,Manager對(duì)象負(fù)責(zé)管理所有的Logger。

logger和manager的關(guān)系锨络,總結(jié)了一下幾條:

  • Logger是輸出log的對(duì)象赌躺,Manager類提供了管理多個(gè)Logger的功能。
  • 一個(gè)程序中只能有一個(gè)manager對(duì)象羡儿,生成manager時(shí)礼患,必定也會(huì)生成RootLogger,manager對(duì)象中的self.root指向了RootLogger
  • manager對(duì)象中的self.loggerDict掠归,這個(gè)字典保存了當(dāng)前所有的logger對(duì)象(不包含rootlogger)
  • 如果使用logging.getLogger的name為空缅叠,那么默認(rèn)指向了name為'root'的RootLogger
  • 如果使用logging.getLogger的name不為空,生成的logger會(huì)自動(dòng)掛載到RootLogger下虏冻,除非指定其他的父logger
  • 其他的logger通過(guò)name建立父子關(guān)系

父子關(guān)系示例:

loger1=logging.getLogger('A')
loger2=logging.getLogger('A.B')
#loger2的父loger是loger1
loger2.parent
out>><logging.Logger object at 0xb7230d6c>
#loger1的父loger是rootlogger
loger1.parent
out>><logging.RootLogger object at 0xb7230b6c> 

這些關(guān)系都在manager中進(jìn)行管理

重要的代碼:

class Manager(object):
    def getLogger(self,name):
        #生成一個(gè)logger肤粱,將logger中的manager指向self
        #維護(hù)所有l(wèi)ogger的父子關(guān)系
    def _fixupParents(self,aloger):
    def _fixupChildren(self,ph,aloger):
        #修復(fù)所有l(wèi)ogger的父子關(guān)系

4.4 LoggerAdapter —— 對(duì)標(biāo)準(zhǔn)logger的一個(gè)擴(kuò)展

LogRecord這個(gè)大字典中提供的成員變量已經(jīng)很多,但是厨相,如果在輸出log時(shí)候仍然希望能夠夾帶一些自己想要看到的更多信息领曼,例如產(chǎn)生這個(gè)log的時(shí)候,調(diào)用某些函數(shù)去獲得其他信息蛮穿,那么就可以把這些添加到Logger中庶骄,LoggerAdapter這個(gè)類就起到這個(gè)作用。

LoggerAdapter這個(gè)類很有意思绪撵,如果不做什么改動(dòng)瓢姻,那么LoggerAdapter類和Logger并沒(méi)有什么區(qū)別祝蝠。LoggerAdapter只是對(duì)Logger類進(jìn)行了一下包裝音诈。

LoggerAdapter的用法其實(shí)是在它的成員函數(shù)process()的注釋中已經(jīng)說(shuō)明了:

def process(self, msg, kwargs): 
    """
    Normally, you'll only need to override this one method in a
    LoggerAdapter subclass for your specific needs. 
    """

也就是說(shuō)重寫process函數(shù),以下是一個(gè)例子:

import logging
import random
L=logging.getLogger('name')

#定義一個(gè)函數(shù)绎狭,生成0~1000的隨機(jī)數(shù)
def func():
    return random.randint(1,1000)

class myLogger(logging.LoggerAdapter):
    #繼承LoggerAdapter细溅,重寫process,生成隨機(jī)數(shù)添加到msg前面
    def process(self,msg,kwargs):
        return '(%d),%s' % (self.extra['name'](),msg)  ,kwargs

#函數(shù)對(duì)象放入字典中傳入  
LA=myLogger(L,{'name':func})

#now,do some logging
LA.debug('some_loging_messsage')

out>>DEBUG:name:(167),some_loging_messsage 

5. logging中的config函數(shù)

5.1 def basicConfig(**kwargs)

basicConfig函數(shù)將對(duì)各種參數(shù)進(jìn)行配置儡嘶,如果不傳入?yún)?shù)喇聊,則進(jìn)行默認(rèn)配置:

  1. format配置
  2. handler配置
  3. level配置
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市蹦狂,隨后出現(xiàn)的幾起案子誓篱,更是在濱河造成了極大的恐慌朋贬,老刑警劉巖,帶你破解...
    沈念sama閱讀 219,270評(píng)論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件窜骄,死亡現(xiàn)場(chǎng)離奇詭異锦募,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī)邻遏,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,489評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門糠亩,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人准验,你說(shuō)我怎么就攤上這事赎线。” “怎么了糊饱?”我有些...
    開(kāi)封第一講書人閱讀 165,630評(píng)論 0 356
  • 文/不壞的土叔 我叫張陵垂寥,是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我另锋,道長(zhǎng)矫废,這世上最難降的妖魔是什么? 我笑而不...
    開(kāi)封第一講書人閱讀 58,906評(píng)論 1 295
  • 正文 為了忘掉前任砰蠢,我火速辦了婚禮蓖扑,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘台舱。我一直安慰自己律杠,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,928評(píng)論 6 392
  • 文/花漫 我一把揭開(kāi)白布竞惋。 她就那樣靜靜地躺著柜去,像睡著了一般。 火紅的嫁衣襯著肌膚如雪拆宛。 梳的紋絲不亂的頭發(fā)上嗓奢,一...
    開(kāi)封第一講書人閱讀 51,718評(píng)論 1 305
  • 那天,我揣著相機(jī)與錄音浑厚,去河邊找鬼股耽。 笑死,一個(gè)胖子當(dāng)著我的面吹牛钳幅,可吹牛的內(nèi)容都是我干的物蝙。 我是一名探鬼主播,決...
    沈念sama閱讀 40,442評(píng)論 3 420
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼敢艰,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼诬乞!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書人閱讀 39,345評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤震嫉,失蹤者是張志新(化名)和其女友劉穎森瘪,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體票堵,經(jīng)...
    沈念sama閱讀 45,802評(píng)論 1 317
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡柜砾,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,984評(píng)論 3 337
  • 正文 我和宋清朗相戀三年换衬,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了痰驱。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 40,117評(píng)論 1 351
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡瞳浦,死狀恐怖担映,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情叫潦,我是刑警寧澤蝇完,帶...
    沈念sama閱讀 35,810評(píng)論 5 346
  • 正文 年R本政府宣布,位于F島的核電站矗蕊,受9級(jí)特大地震影響短蜕,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜傻咖,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,462評(píng)論 3 331
  • 文/蒙蒙 一朋魔、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧卿操,春花似錦警检、人聲如沸。這莊子的主人今日做“春日...
    開(kāi)封第一講書人閱讀 32,011評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至窥摄,卻和暖如春镶奉,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背崭放。 一陣腳步聲響...
    開(kāi)封第一講書人閱讀 33,139評(píng)論 1 272
  • 我被黑心中介騙來(lái)泰國(guó)打工哨苛, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人莹菱。 一個(gè)月前我還...
    沈念sama閱讀 48,377評(píng)論 3 373
  • 正文 我出身青樓移国,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親道伟。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,060評(píng)論 2 355

推薦閱讀更多精彩內(nèi)容

  • 本文章是我大概三年前,在上家單位使用 Python 工作時(shí)結(jié)合官方文檔做的整理∶刍眨現(xiàn)在 Python 官方文檔聽(tīng)說(shuō)已...
    好吃的野菜閱讀 216,990評(píng)論 14 232
  • 本篇文章主要對(duì) python logging 的介紹加深理解祝懂。更主要是 討論在多進(jìn)程環(huán)境下如何使用logging ...
    doudou0o閱讀 41,101評(píng)論 52 42
  • Python logging 模塊 參考 http://blog.csdn.net/zyz511919766/ar...
    ktide閱讀 897評(píng)論 0 2
  • 本文翻譯自logging howto 基礎(chǔ)教程 日志是跟蹤軟件運(yùn)行時(shí)發(fā)生事件的一種手段。Python開(kāi)發(fā)者在代碼中...
    大蟒傳奇閱讀 4,255評(píng)論 0 17
  • 好友蓮約我到她的新家品茶拘鞋。房子并不大砚蓬,卻別具匠心地在窗臺(tái)旁做了個(gè)小茶室,竹席編制的榻榻米上放著一張古色古香的茶桌盆色,...
    江南煙雨閱讀 1,232評(píng)論 1 7