譯自:Marina mele的 7 tips to Time Python scripts and control memory and cpu usage
當(dāng)運(yùn)行一個(gè)復(fù)雜的 Python 程序溢十,它需要很長時(shí)間來執(zhí)行杯拐。你或許想提升它的執(zhí)行時(shí)間堪澎。但如何做卢肃?
首先,你需要工具來查明你代碼的瓶頸蝙寨,比如冈爹,那部分執(zhí)行花費(fèi)的時(shí)間長。用這個(gè)方法逛绵,你可以首先專注于提升這部分的速度怀各。
而且,你也應(yīng)該控制內(nèi)存和 CPU 使用率暑脆,因?yàn)樗梢詾槟阒赋龅拇a可以改進(jìn)的新的部分渠啤。
所以,在本文中添吗,我將對(duì) 7 個(gè)不同的 Python 工具發(fā)表意見沥曹,給你一些關(guān)于你函數(shù)執(zhí)行時(shí)間和內(nèi)存以及 CPU 使用率的見解。
- 使用一個(gè)裝飾器來測(cè)量你的函數(shù)
測(cè)量一個(gè)函數(shù)最簡(jiǎn)單的方式就是定義一個(gè)裝飾器來測(cè)量運(yùn)行該函數(shù)的運(yùn)行時(shí)間碟联,并打印該結(jié)果:
import time
from functools import wraps
def fn_timer(function):
@wraps(function)
def function_timer(*args, **kwargs):
t0 = time.time()
result = function(*args, **kwargs)
t1 = time.time()
print ("Total time running %s: %s seconds" %
(function.func_name, str(t1-t0))
)
return result
return function_timer
這時(shí)妓美,你已經(jīng)在你想測(cè)量的函數(shù)之前添加了裝飾器,像:
@fn_timerdef
myfunction(...): ...
例如鲤孵,讓我們測(cè)量下排序一個(gè) 2000000 個(gè)隨機(jī)數(shù)的數(shù)組會(huì)花費(fèi)多長時(shí)間:
@fn_timer
def random_sort(n):
return sorted([random.random() for i in range(n)])
if __name__ == "__main__":
random_sort(2000000)
如果你運(yùn)行你的腳本壶栋,你將看到:
Total time running random_sort: 1.41124916077 seconds
- 使用 timeit 模塊
另外一個(gè)選項(xiàng)是使用 timeit 模塊,它給你測(cè)量一個(gè)平均時(shí)間普监。
為了運(yùn)行它贵试,在你的終端執(zhí)行以下命令:
$ python -m timeit -n 4 -r 5 -s "import timing_functions" "timing_functions.random_sort(2000000)"
timing_functions
是你腳本的名字。
在輸出的最后凯正,你會(huì)看到一些像這樣的東西:
4 loops, best of 5: 2.08 sec per loop
表明了運(yùn)行這個(gè)測(cè)試 4 次(-n 4)毙玻,并在每個(gè)測(cè)試中重復(fù)平均 5 次(-r 5),最佳的結(jié)果是 2.08 秒廊散。
如果你沒有指定測(cè)試或者重復(fù)桑滩,它默認(rèn)是 10 次循環(huán)和 5 次重復(fù)。
- 使用 Uinx 的 time 命令
盡管如此允睹,裝飾器和 timeit 模塊都是基于 Python 的运准。這就是為什么 unix time 工具或許有用,因?yàn)樗且粋€(gè)外部的 Python 測(cè)量缭受。
為了運(yùn)行 time 工具類型:
$ time -p python timing_functions.py
將給出如下輸出:
Total time running random_sort: 1.3931210041 secondsreal 1.49user 1.40sys 0.08
第一行來自于我們定義的裝飾器看锉,其他三行是:
real 表明了執(zhí)行腳本花費(fèi)的總時(shí)間
User 表明了執(zhí)行腳本花費(fèi)在的 CPU 時(shí)間
Sys 表明了執(zhí)行腳本花費(fèi)在內(nèi)核函數(shù)的時(shí)間
因此黔牵, real time 和 user+sys 相加的不同或許表明了時(shí)間花費(fèi)在等待 I/O 或者是系統(tǒng)在忙于執(zhí)行其他任務(wù)购披。
- 使用 cProfile 模塊
如果你想知道花費(fèi)在每個(gè)函數(shù)和方法上的時(shí)間蠢沿,以及它們被調(diào)用了多少次,你可以使用 cProfile 模塊。
$ python -m cProfile -s cumulative timing_functions.py
現(xiàn)在你將看到你的代碼中每個(gè)函數(shù)被調(diào)用多少次的詳細(xì)描述陆盘,并且它將通過累積花費(fèi)在每個(gè)函數(shù)上面的時(shí)間來排序(感謝 -s cumulative
選項(xiàng))
你將看到花費(fèi)在運(yùn)行你的腳本的總時(shí)間是比以前高的普筹。這是我們測(cè)量每個(gè)函數(shù)執(zhí)行時(shí)間的損失。
- 使用 line_profiler 模塊
line_profiler 給出了在你代碼每一行花費(fèi)的 CPU 時(shí)間隘马。
這個(gè)模塊首先應(yīng)該被安裝太防,使用命令:
$ pip install line_profiler
下一步,你需要指定你想使用裝飾器 @profile
評(píng)估哪個(gè)函數(shù)(你不需要把它 import 到你的文件中)酸员。
@profile
def random_sort2(n):
l = [random.random() for i in range(n)]
l.sort()
return l
if __name__ == "__main__":
random_sort2(2000000)
最后蜒车,你可以通過鍵入以下命令取得 random_sort2
函數(shù)逐行的描述:
$ kernprof -l -v timing_functions.py
-l
標(biāo)識(shí)表明了逐行和 -v
標(biāo)識(shí)表明詳細(xì)輸出。使用這個(gè)方法幔嗦,我們看到了數(shù)組結(jié)構(gòu)花費(fèi)了 44% 的計(jì)算時(shí)間酿愧,sort() 方法花費(fèi)了剩余的 56%。
你也將看到邀泉,由于時(shí)間測(cè)量嬉挡,這個(gè)腳本執(zhí)行花費(fèi)的或許更長。
- 使用 memory_profiler 模塊
memory_profiler 模塊被用于在逐行的基礎(chǔ)上汇恤,測(cè)量你代碼的內(nèi)存使用率庞钢。盡管如此,它可能使得你的代碼運(yùn)行的更慢因谎。
安裝:
$ pip install memory_profiler
也建議安裝 psutil 包基括,使得 memory_profile
模塊運(yùn)行的更快:
$ pip install psutil
類似 line_profiler
的方式,使用裝飾器 @profile
來標(biāo)記哪個(gè)函數(shù)被跟蹤财岔。下一步风皿,鍵入:
$ python -m memory_profiler timing_functions.py
是的,前面的腳本比之前的 1 或 2 秒需要更長的時(shí)間匠璧。并且揪阶,如果你不安裝 psutil
模塊,你將一直等待結(jié)果患朱。
看上面的輸出,注意內(nèi)存使用率的單位是 MiB炊苫,這代表的是兆字節(jié)(1MiB = 1.05MB)裁厅。
- 使用 guppy 包
最后,使用這個(gè)包侨艾,你可以跟蹤每個(gè)類型在你代碼中每個(gè)階段(字符执虹, 元組, 字典 等等)有多少對(duì)象被創(chuàng)建了唠梨。
安裝:
$ pip install guppy
下一步袋励,像這樣添加到你的代碼中:
from guppy import hpy
def random_sort3(n):
hp = hpy()
print "Heap at the beginning of the function\n", hp.heap()
l = [random.random() for i in range(n)]
l.sort()
print "Heap at the end of the function\n", hp.heap()
return l
if __name__ == "__main__":
random_sort3(2000000)
并且這樣運(yùn)行你的代碼:
$ python timing_functions.py
你將看到一些像下面的輸出:
通過配置 heap 在你的代碼的不同地方,你可以在腳本中學(xué)到對(duì)象的創(chuàng)建和銷毀。
如果你想學(xué)習(xí)更多提升你 Python 代碼的知識(shí)茬故,我建議你看看 2014 年 11 月出版的 High Performance Python: Practical Performant Programming for Humans 這本書盖灸。
其實(shí)吧,先用Python寫好腳本是正經(jīng)的磺芭。赁炎。。