logging模塊是python中的常用模塊编矾,我計(jì)劃用兩到三篇文章來(lái)詳細(xì)的介紹一下這個(gè)模塊的用法永高。第一篇文章主要是講logging的主干源碼帆调,如果想直接看logging的用法咐鹤,可以等第二篇。
參考的logging版本是python2.7.3侨核,我將logging源碼加上了中文注釋放在我的github上
https://github.com/Stan-He/python_learn/tree/master/learn_logging
1.開(kāi)始
最開(kāi)始草穆,我們用最短的代碼體驗(yàn)一下logging的基本功能
import logging
loger=logging.getLoger()
logging.basicConfig()
loger.setLevel('DEBUG')
loger.debug('logsomething')
#輸出
out>>DEBUG:root:logsomething
- 第一步,通過(guò)logging.getLoger函數(shù)搓译,獲得一個(gè)loger對(duì)象悲柱,但這個(gè)對(duì)象暫時(shí)是無(wú)法使用的。
- 第二步些己,logging.basicConfig函數(shù)豌鸡,進(jìn)行一系列默認(rèn)的配置嘿般,包括format、handler等涯冠。
- 第三步炉奴、loger調(diào)用setLevel函數(shù)定義日志級(jí)別為DEBUG
- 最后,logger調(diào)用debug函數(shù)蛇更,輸出一條debug級(jí)別的message瞻赶,顯示在了標(biāo)準(zhǔn)輸出上
2.logging中的日志級(jí)別
logging在生成日志的時(shí)候,有一個(gè)日志級(jí)別的機(jī)制派任,默認(rèn)有以下幾個(gè)日志級(jí)別:
CRITICAL = 50
ERROR = 40
WARNING = 30
INFO = 20
DEBUG = 10
NOTSET = 0
每一個(gè)logger對(duì)象砸逊,都有一個(gè)日志級(jí)別,它只會(huì)輸出高于它level的日志掌逛。如果一個(gè)logger的level是INFO师逸,那么調(diào)用logger.debug()是無(wú)法輸出日志的,而logger.warning()能夠輸出豆混。
一般來(lái)說(shuō)篓像,以上的6個(gè)日志級(jí)別完全滿足我們?nèi)粘J褂昧恕?/strong>
3.logging中的基礎(chǔ)類
logging是python中的一個(gè)基礎(chǔ)模塊,它在python中的源碼位置如下:
#主干代碼
/usr/lib/python2.7/logging/__init__.py
#擴(kuò)展的handler和config
/usr/lib/python2.7/logging/config.py
/usr/lib/python2.7/logging/handlers.py
組成logging的主干的幾個(gè)基礎(chǔ)類都在__init__.py中:
3.1 第一個(gè)基礎(chǔ)類 LogRecord
一個(gè)LogRecord對(duì)象皿伺,對(duì)應(yīng)了日志中的一行數(shù)據(jù)员辩。通常包含:時(shí)間、日志級(jí)別心傀、message信息屈暗、當(dāng)前執(zhí)行的模塊拆讯、行號(hào)脂男、函數(shù)名……這些信息都包含在一個(gè)LogRecord對(duì)象里。
LogRecord對(duì)象可以想象成一個(gè)大字典
class LogRecord(object):
#代表一條日志的類
def getMessage(self):
#獲取self.msg
def makeLogRecord(dict):
#這個(gè)方法很重要种呐,生成一個(gè)空的LogRecord宰翅,然后通過(guò)一個(gè)字典,直接更新LogRecord中的成員變量
rv = LogRecord(None, None, "", 0, "", (), None, None)
rv.__dict__.update(dict)
return rv
3.2 第二個(gè)基礎(chǔ)類 Formatter
Formatter對(duì)象是用來(lái)定義日志格式的爽室,LogRecord保存了很多信息汁讼,但是打日志的時(shí)候我們只需要其中幾個(gè),F(xiàn)ormatter就提供了這樣的功能阔墩,它依賴于python的一個(gè)功能:
#通過(guò)字典的方式,輸出格式化字符串
print '%(name)s:%(num)d' % {'name':'my_name','num': 100}
out>>my_name:100
如果說(shuō)LogRecord是后面的那個(gè)字典嘿架,那么Formatter就是前面的那個(gè)格式字符串……的抽象
重要的代碼如下:
class Formatter(object):
def __init__(self,fmt=None,datefmt=None):
if fmt:
self._fmt = fmt
else:
#默認(rèn)的format
self._fmt = "%(message)s"
def format(self,record)
#使用self._fmt進(jìn)行格式化
s=self._fmt % record.__dict__
return s
3.3 第三個(gè)基礎(chǔ)類 Filter和Filterer
Filter類,功能很簡(jiǎn)單啸箫。Flter.filter()函數(shù)傳入一個(gè)LogRecord對(duì)象耸彪,通過(guò)篩選返回1,否則返回0忘苛。從代碼中可以看到蝉娜,其實(shí)是對(duì)LogRecord.name的篩選唱较。
Filterer類中有一個(gè)Filter對(duì)象的列表,它是一組Filter的抽象召川。
重要的代碼如下:
class Filter(object):
def __init__(self,name=''):
self.name=name
self.nlen=len(name)
def filter(self,record)
#返回1表示record通過(guò)南缓,0表示record不通過(guò)
if self.nlen==0:
return 1
elif self.name==record.name:
return 1
#record.name不是以filter開(kāi)頭
elif record.name.find(self.name,0,self.nlen) !=0:
return 0
#最后一位是否為.
return (record.name[self.nlen] == ".")
class Filterer(object):
#這個(gè)類其實(shí)是定義了一個(gè)self.filters=[]的列表管理多個(gè)filter
def addFilter(self,filter)
def removeFilter(self,filter)
def filter(self,record):
#使用列表中所有的filter進(jìn)行篩選,任何一個(gè)失敗都會(huì)返回0
#例如:
#filter1.name='A',filter2.name='A.B',filter3.name='A.B.C'
#此時(shí)record.name='A.B.C.D'這樣的record才能通過(guò)所有filter的篩選
4. logging中的高級(jí)類
有了以上三個(gè)基礎(chǔ)的類荧呐,就可以拼湊一些更重要的高級(jí)類了汉形,高級(jí)類可以實(shí)現(xiàn)logging的重要功能。
4.1 Handler——抽象了log的輸出過(guò)程
- Handler類繼承自Filterer倍阐。Handler類是log輸出這個(gè)過(guò)程的抽象获雕。
- 同時(shí)Handler類具有一個(gè)成員變量self.level,在第二節(jié)討論的日志級(jí)別的機(jī)制,就是在Handler中實(shí)現(xiàn)的收捣。
- Handler有一個(gè)emit(record)函數(shù)届案,這個(gè)函數(shù)負(fù)責(zé)輸出log,必須在Handler的子類中實(shí)現(xiàn)罢艾。
重要代碼如下:
class Handler(Filterer):
def __init__(self,level=NOTSET):
#handler必須有l(wèi)evel屬性
self.level=_checkLevel(level)
def format(self,record):
#使用self.formatter楣颠,formatrecord
def handle(self,record):
#如果通過(guò)filter的篩選,則emit這條log
rv=self.filter(record)
self.emit(record)
def emit(self咐蚯,record):
#等待子類去實(shí)現(xiàn)
接下來(lái)看兩個(gè)簡(jiǎn)單的handler的子類童漩,其實(shí)在logging源碼中,有一個(gè)handler.py專門定義了很多更復(fù)雜的handler春锋,有的可以將log緩存在內(nèi)存中矫膨,有的可以將log做rotation等
4.1.1 StreamHandler
最簡(jiǎn)單的handler實(shí)現(xiàn),將log寫入一個(gè)流中期奔,默認(rèn)的stream是sys.stderr
重要的代碼如下:
class StreamHandler(Handler):
def __init__(self, stream=None):
if stream is None:
stream=sys.stderr
self.stream=stream
def emit(self,record):
#將record的信息寫入流中
#處理一些編碼的異常
fs='%s\n' #每條日志都有換行
stream=self.stream
stream.write(fs % msg)
4.1.2 FileHandler
將log輸出到文件的handler侧馅,繼承自StreamHandler
重要代碼如下:
class FileHandler(StreamHandler):
def __init__(self,filename, mode='a'):
#append方式,打開(kāi)一個(gè)文件
StreamHandler.__init__(self, self._open())
def emit(self,record):
#和streamhandler保持一致
StreamHandler.emit(self, record)
4.2 Logger —— 一個(gè)獨(dú)立的log管道
什么是logger呐萌?
- logger類繼承自Filterer馁痴,
- logger對(duì)象有l(wèi)ogger.level日志級(jí)別
- logger對(duì)象控制多個(gè)handler:logger.handlers=[]
- logger對(duì)象之間存在父子關(guān)系
簡(jiǎn)單的來(lái)說(shuō),logger這個(gè)類肺孤,集中了我們以上所有的LogRecord類罗晕、Filter類、Formatter類赠堵、handler類小渊。首先,logger根據(jù)輸入生成一個(gè)LogRecord對(duì)象茫叭,經(jīng)過(guò)Filter和Formatter之后酬屉,再通過(guò)self.handlers列表中的所有handler,把log發(fā)送出去杂靶。一個(gè)logger中可能有多個(gè)handler梆惯,可以實(shí)現(xiàn)把一份log放到多個(gè)任意的位置酱鸭。
重要代碼:
class Logger(Filterer):
def __init__ (self,name,level=NONSET):
#handler列表
self.handlers=[]
self.level=_checkLevel(level)
def addHandler(self,hdlr):
def removeHandler(self,hdlr):
def _log(self, level, msg, args, exc_info=None, extra=None):
#在_log函數(shù)中創(chuàng)建了一個(gè)LogRecord對(duì)象
record = self.makeRecord(self.name, level, fn, lno, msg, args, exc_info, func, extra)
#交給handle函數(shù)
self.handle(record)
def handle(self,record):
#進(jìn)行filter,然后調(diào)用callHandlers
if (not self.disabled) and self.filter(record):
self.callHandlers(record)
def callHandlers(self, record):
#從當(dāng)前l(fā)ogger到所有的父logger垛吗,遞歸的handl傳入的record
c=self
while c:
for hdlr in c.handlers:
hdlr.handle(record) #進(jìn)入handler的emit函數(shù)發(fā)送log
……
c=c.parent
4.3 Manager —— 管理logger的類
Manager這個(gè)類凹髓,對(duì)用戶其實(shí)是不可見(jiàn)的,如果生成了Logger怯屉,Manager就會(huì)自動(dòng)存在蔚舀,Manager對(duì)象負(fù)責(zé)管理所有的Logger。
logger和manager的關(guān)系锨络,總結(jié)了一下幾條:
- Logger是輸出log的對(duì)象赌躺,Manager類提供了管理多個(gè)Logger的功能。
- 一個(gè)程序中只能有一個(gè)manager對(duì)象羡儿,生成manager時(shí)礼患,必定也會(huì)生成RootLogger,manager對(duì)象中的self.root指向了RootLogger
- manager對(duì)象中的self.loggerDict掠归,這個(gè)字典保存了當(dāng)前所有的logger對(duì)象(不包含rootlogger)
- 如果使用logging.getLogger的name為空缅叠,那么默認(rèn)指向了name為'root'的RootLogger
- 如果使用logging.getLogger的name不為空,生成的logger會(huì)自動(dòng)掛載到RootLogger下虏冻,除非指定其他的父logger
- 其他的logger通過(guò)name建立父子關(guān)系
父子關(guān)系示例:
loger1=logging.getLogger('A')
loger2=logging.getLogger('A.B')
#loger2的父loger是loger1
loger2.parent
out>><logging.Logger object at 0xb7230d6c>
#loger1的父loger是rootlogger
loger1.parent
out>><logging.RootLogger object at 0xb7230b6c>
這些關(guān)系都在manager中進(jìn)行管理
重要的代碼:
class Manager(object):
def getLogger(self,name):
#生成一個(gè)logger肤粱,將logger中的manager指向self
#維護(hù)所有l(wèi)ogger的父子關(guān)系
def _fixupParents(self,aloger):
def _fixupChildren(self,ph,aloger):
#修復(fù)所有l(wèi)ogger的父子關(guān)系
4.4 LoggerAdapter —— 對(duì)標(biāo)準(zhǔn)logger的一個(gè)擴(kuò)展
LogRecord這個(gè)大字典中提供的成員變量已經(jīng)很多,但是厨相,如果在輸出log時(shí)候仍然希望能夠夾帶一些自己想要看到的更多信息领曼,例如產(chǎn)生這個(gè)log的時(shí)候,調(diào)用某些函數(shù)去獲得其他信息蛮穿,那么就可以把這些添加到Logger中庶骄,LoggerAdapter這個(gè)類就起到這個(gè)作用。
LoggerAdapter這個(gè)類很有意思绪撵,如果不做什么改動(dòng)瓢姻,那么LoggerAdapter類和Logger并沒(méi)有什么區(qū)別祝蝠。LoggerAdapter只是對(duì)Logger類進(jìn)行了一下包裝音诈。
LoggerAdapter的用法其實(shí)是在它的成員函數(shù)process()的注釋中已經(jīng)說(shuō)明了:
def process(self, msg, kwargs):
"""
Normally, you'll only need to override this one method in a
LoggerAdapter subclass for your specific needs.
"""
也就是說(shuō)重寫process函數(shù),以下是一個(gè)例子:
import logging
import random
L=logging.getLogger('name')
#定義一個(gè)函數(shù)绎狭,生成0~1000的隨機(jī)數(shù)
def func():
return random.randint(1,1000)
class myLogger(logging.LoggerAdapter):
#繼承LoggerAdapter细溅,重寫process,生成隨機(jī)數(shù)添加到msg前面
def process(self,msg,kwargs):
return '(%d),%s' % (self.extra['name'](),msg) ,kwargs
#函數(shù)對(duì)象放入字典中傳入
LA=myLogger(L,{'name':func})
#now,do some logging
LA.debug('some_loging_messsage')
out>>DEBUG:name:(167),some_loging_messsage
5. logging中的config函數(shù)
5.1 def basicConfig(**kwargs)
basicConfig函數(shù)將對(duì)各種參數(shù)進(jìn)行配置儡嘶,如果不傳入?yún)?shù)喇聊,則進(jìn)行默認(rèn)配置:
- format配置
- handler配置
- level配置