Python裝飾器高級用法

在Python中，裝飾器一般用來修飾函數(shù)说榆，實(shí)現(xiàn)公共功能虚吟，達(dá)到代碼復(fù)用的目的。在函數(shù)定義前加上@xxxx签财，然后函數(shù)就注入了某些行為串慰，很神奇！然而唱蒸，這只是語法糖而已邦鲫。

場景

假設(shè)，有一些工作函數(shù)神汹，用來對數(shù)據(jù)做不同的處理：

def work_bar(data):
    pass


def work_foo(data):
    pass

我們想在函數(shù)調(diào)用前/后輸出日志庆捺，怎么辦？

傻瓜解法

logging.info('begin call work_bar')
work_bar(1)
logging.info('call work_bar done')

如果有多處代碼調(diào)用呢屁魏？想想就怕滔以！

函數(shù)包裝

傻瓜解法無非是有太多代碼冗余，每次函數(shù)調(diào)用都要寫一遍logging氓拼∧慊可以把這部分冗余邏輯封裝到一個新函數(shù)里：

def smart_work_bar(data):
    logging.info('begin call: work_bar')
    work_bar(data)
    logging.info('call doen: work_bar')

這樣，每次調(diào)用smart_work_bar即可：

smart_work_bar(1)

# ...

smart_work_bar(some_data)

通用閉包

看上去挺完美……然而桃漾，當(dāng)work_foo也有同樣的需要時坏匪，還要再實(shí)現(xiàn)一遍smart_work_foo嗎？這樣顯然不科學(xué)呀撬统！

別急适滓，我們可以用閉包：

def log_call(func):
    def proxy(*args, **kwargs):
        logging.info('begin call: {name}'.format(name=func.func_name))
        result = func(*args, **kwargs)
        logging.info('call done: {name}'.format(name=func.func_name))
        return result
    return proxy

這個函數(shù)接收一個函數(shù)對象(被代理函數(shù))作為參數(shù)，返回一個代理函數(shù)恋追。調(diào)用代理函數(shù)時粒竖，先輸出日志，然后調(diào)用被代理函數(shù)几于，調(diào)用完成后再輸出日志蕊苗，最后返回調(diào)用結(jié)果。這樣沿彭，不就達(dá)到通用化的目的了嗎朽砰？——對于任意被代理函數(shù)func，log_call均可輕松應(yīng)對。

smart_work_bar = log_call(work_bar)
smart_work_foo = log_call(work_foo)

smart_work_bar(1)
smart_work_foo(1)

# ...

smart_work_bar(some_data)
smart_work_foo(some_data)

第1行中瞧柔，log_call接收參數(shù)work_bar漆弄，返回一個代理函數(shù)proxy，并賦給smart_work_bar造锅。第4行中撼唾，調(diào)用smart_work_bar，也就是代理函數(shù)proxy哥蔚，先輸出日志倒谷，然后調(diào)用func也就是work_bar，最后再輸出日志糙箍。注意到渤愁，代理函數(shù)中，func與傳進(jìn)去的work_bar對象緊緊關(guān)聯(lián)在一起了深夯，這就是閉包抖格。

再提一下，可以覆蓋被代理函數(shù)名咕晋，以smart_為前綴取新名字還是顯得有些累贅：

work_bar = log_call(work_bar)
work_foo = log_call(work_foo)

work_bar(1)
work_foo(1)

語法糖

先來看看以下代碼：

def work_bar(data):
    pass
work_bar = log_call(work_bar)


def work_foo(data):
    pass
work_foo = log_call(work_foo)

雖然代碼沒有什么冗余了雹拄，但是看是去還是不夠直觀。這時候掌呜，語法糖來了~~~

@log_call
def work_bar(data):
    pass

因此滓玖，注意一點(diǎn)(劃重點(diǎn)啦)，這里@log_call的作用只是：告訴Python編譯器插入代碼work_bar = log_call(work_bar)站辉。

求值裝飾器

先來猜猜裝飾器eval_now有什么作用呢撞？

def eval_now(func):
    return func()

看上去好奇怪哦损姜，沒有定義代理函數(shù)饰剥，算裝飾器嗎？

@eval_now
def foo():
    return 1

print foo

這段代碼輸出1摧阅，也就是對函數(shù)進(jìn)行調(diào)用求值汰蓉。那么到底有什么用呢？直接寫foo = 1不行么棒卷？在這個簡單的例子顾孽，這么寫當(dāng)然可以啦。來看一個更復(fù)雜的例子——初始化一個日志對象：

# some other code before...

# log format
formatter = logging.Formatter(
    '[%(asctime)s] %(process)5d %(levelname) 8s - %(message)s',
    '%Y-%m-%d %H:%M:%S',
)

# stdout handler
stdout_handler = logging.StreamHandler(sys.stdout)
stdout_handler.setFormatter(formatter)
stdout_handler.setLevel(logging.DEBUG)

# stderr handler
stderr_handler = logging.StreamHandler(sys.stderr)
stderr_handler.setFormatter(formatter)
stderr_handler.setLevel(logging.ERROR)

# logger object
logger = logging.Logger(__name__)
logger.setLevel(logging.DEBUG)
logger.addHandler(stdout_handler)
logger.addHandler(stderr_handler)

# again some other code after...

用eval_now的方式：

# some other code before...

@eval_now
def logger():
    # log format
    formatter = logging.Formatter(
        '[%(asctime)s] %(process)5d %(levelname) 8s - %(message)s',
        '%Y-%m-%d %H:%M:%S',
    )

    # stdout handler
    stdout_handler = logging.StreamHandler(sys.stdout)
    stdout_handler.setFormatter(formatter)
    stdout_handler.setLevel(logging.DEBUG)

    # stderr handler
    stderr_handler = logging.StreamHandler(sys.stderr)
    stderr_handler.setFormatter(formatter)
    stderr_handler.setLevel(logging.ERROR)

    # logger object
    logger = logging.Logger(__name__)
    logger.setLevel(logging.DEBUG)
    logger.addHandler(stdout_handler)
    logger.addHandler(stderr_handler)

    return logger

# again some other code after...

兩段代碼要達(dá)到的目的是一樣的比规，但是后者顯然更清晰若厚，頗有代碼塊的風(fēng)范。更重要的是蜒什，函數(shù)調(diào)用在局部名字空間完成初始化测秸，避免臨時變量(如formatter等)污染外部的名字空間(比如全局)。

帶參數(shù)裝飾器

定義一個裝飾器，用于記錄慢函數(shù)調(diào)用：

def log_slow_call(func):
    def proxy(*args, **kwargs):
        start_ts = time.time()
        result = func(*args, **kwargs)
        end_ts = time.time()

        seconds = start_ts - end_ts
        if seconds > 1:
        logging.warn('slow call: {name} in {seconds}s'.format(
            name=func.func_name,
            seconds=seconds,
        ))

        return result

    return proxy

第3霎冯、5行分別在函數(shù)調(diào)用前后采樣當(dāng)前時間铃拇，第7行計(jì)算調(diào)用耗時，耗時大于一秒輸出一條警告日志沈撞。

@log_slow_call
def sleep_seconds(seconds):
    time.sleep(seconds)

sleep_seconds(0.1)  # 沒有日志輸出

sleep_seconds(2)    # 輸出警告日志

然而慷荔，閾值設(shè)置總是要視情況決定，不同的函數(shù)可能會設(shè)置不同的值缠俺。如果閾值有辦法參數(shù)化就好了：

def log_slow_call(func, threshold=1):
    def proxy(*args, **kwargs):
        start_ts = time.time()
        result = func(*args, **kwargs)
        end_ts = time.time()

        seconds = start_ts - end_ts
        if seconds > threshold:
        logging.warn('slow call: {name} in {seconds}s'.format(
            name=func.func_name,
            seconds=seconds,
        ))

        return result

    return proxy

然而显晶，@xxxx語法糖總是以被裝飾函數(shù)為參數(shù)調(diào)用裝飾器，也就是說沒有機(jī)會傳遞threshold參數(shù)晋修。怎么辦呢吧碾？——用一個閉包封裝threshold參數(shù)：

def log_slow_call(threshold=1):
    def decorator(func):
        def proxy(*args, **kwargs):
            start_ts = time.time()
            result = func(*args, **kwargs)
            end_ts = time.time()

            seconds = start_ts - end_ts
            if seconds > threshold:
            logging.warn('slow call: {name} in {seconds}s'.format(
                name=func.func_name,
                seconds=seconds,
            ))

            return result

        return proxy

    return decorator


@log_slow_call(threshold=0.5)
def sleep_seconds(seconds):
    time.sleep(seconds)

這樣，log_slow_call(threshold=0.5)調(diào)用返回函數(shù)decorator墓卦，函數(shù)擁有閉包變量threshold倦春，值為0.5。decorator再裝飾sleep_seconds落剪。

采用默認(rèn)閾值睁本，函數(shù)調(diào)用還是不能省略：

@log_slow_call()
def sleep_seconds(seconds):
    time.sleep(seconds)

處女座可能會對第一行這對括號感到不爽，那么可以這樣改進(jìn)：

def log_slow_call(func=None, threshold=1):
    def decorator(func):
        def proxy(*args, **kwargs):
            start_ts = time.time()
            result = func(*args, **kwargs)
            end_ts = time.time()

            seconds = start_ts - end_ts
            if seconds > threshold:
            logging.warn('slow call: {name} in {seconds}s'.format(
                name=func.func_name,
                seconds=seconds,
            ))

            return result

        return proxy

    if func is None:
        return decorator
    else:
        return decorator(func)

這種寫法兼容兩種不同的用法忠怖，用法A默認(rèn)閾值(無調(diào)用)呢堰；用法B自定義閾值(有調(diào)用)。

# Case A
@log_slow_call
def sleep_seconds(seconds):
    time.sleep(seconds)


# Case B
@log_slow_call(threshold=0.5)
def sleep_seconds(seconds):
    time.sleep(seconds)

用法A中凡泣，發(fā)生的事情是log_slow_call(sleep_seconds)枉疼，也就是func參數(shù)是非空的，這是直接調(diào)decorator進(jìn)行包裝并返回(閾值是默認(rèn)的)鞋拟。

用法B中骂维，先發(fā)生的是log_slow_call(threshold=0.5)，func參數(shù)為空贺纲，直接返回新的裝飾器decorator航闺，關(guān)聯(lián)閉包變量threshold，值為0.5猴誊；然后潦刃，decorator再裝飾函數(shù)sleep_seconds，即decorator(sleep_seconds)懈叹。注意到乖杠，此時threshold關(guān)聯(lián)的值是0.5，完成定制化澄成。

你可能注意到了胧洒，這里最好使用關(guān)鍵字參數(shù)這種調(diào)用方式——使用位置參數(shù)會很丑陋：

# Case B-
@log_slow_call(None, 0.5)
def sleep_seconds(seconds):
    time.sleep(seconds)

當(dāng)然了笆包，函數(shù)調(diào)用盡量使用關(guān)鍵字參數(shù)是一種極佳實(shí)踐，含義清晰略荡，在參數(shù)很多的情況下更是如此庵佣。

智能裝飾器

上節(jié)介紹的寫法，嵌套層次較多汛兜，如果每個類似的裝飾器都用這種方法實(shí)現(xiàn)巴粪，還是比較費(fèi)勁的(腦子不夠用)，也比較容易出錯粥谬。

假設(shè)有一個智能裝飾器smart_decorator肛根，修飾裝飾器log_slow_call，便可獲得同樣的能力漏策。這樣派哲，log_slow_call定義將變得更清晰，實(shí)現(xiàn)起來也更省力啦：

@smart_decorator
def log_slow_call(func, threshold=1):
    def proxy(*args, **kwargs):
        start_ts = time.time()
        result = func(*args, **kwargs)
        end_ts = time.time()

        seconds = start_ts - end_ts
        if seconds > threshold:
        logging.warn('slow call: {name} in {seconds}s'.format(
            name=func.func_name,
            seconds=seconds,
        ))

        return result

    return proxy

腦洞開完掺喻，smart_decorator如何實(shí)現(xiàn)呢芭届？其實(shí)也簡單：

def smart_decorator(decorator):

    def decorator_proxy(func=None, **kwargs):
        if func is not None:
            return decorator(func=func, **kwargs)

        def decorator_proxy(func):
            return decorator(func=func, **kwargs)

        return decorator_proxy

    return decorator_proxy

smart_decorator實(shí)現(xiàn)了以后，設(shè)想就成立了感耙！這時褂乍，log_slow_call，就是decorator_proxy(外層)即硼，關(guān)聯(lián)的閉包變量decorator是本節(jié)最開始定義的log_slow_call(為了避免歧義逃片，稱為real_log_slow_call)。log_slow_call支持以下各種用法：

# Case A
@log_slow_call
def sleep_seconds(seconds):
    time.sleep(seconds)

用法A中只酥，執(zhí)行的是decorator_proxy(sleep_seconds)(外層)褥实，func非空，kwargs為空裂允；直接執(zhí)行decorator(func=func, **kwargs)损离，即real_log_slow_call(sleep_seconds)，結(jié)果是關(guān)聯(lián)默認(rèn)參數(shù)的proxy叫胖。

# Case B
# Same to Case A
@log_slow_call()
def sleep_seconds(seconds):
    time.sleep(seconds)

用法B中草冈，先執(zhí)行decorator_proxy()她奥，func及kwargs均為空瓮增，返回decorator_proxy對象(內(nèi)層)；再執(zhí)行decorator_proxy(sleep_seconds)(內(nèi)層)哩俭；最后執(zhí)行decorator(func, **kwargs)绷跑，等價于real_log_slow_call(sleep_seconds)，效果與用法A一致凡资。

# Case C
@log_slow_call(threshold=0.5)
def sleep_seconds(seconds):
    time.sleep(seconds)

用法C中砸捏，先執(zhí)行decorator_proxy(threshold=0.5)谬运，func為空但kwargs非空，返回decorator_proxy對象(內(nèi)層)垦藏；再執(zhí)行decorator_proxy(sleep_seconds)(內(nèi)層)梆暖；最后執(zhí)行decorator(sleep_seconds, **kwargs)，等價于real_log_slow_call(sleep_seconds, threshold=0.5)掂骏，閾值實(shí)現(xiàn)自定義轰驳！