在開發(fā)完程序后可能需要對(duì)程序進(jìn)行性能評(píng)估，比方說運(yùn)行速度和內(nèi)存占用在不同輸入和參數(shù)情況下的表現(xiàn)。在 Linux 使用 GNU time 可以很輕松地測(cè)量到這些指標(biāo)吠各，為什么說 GNU time 呢烟逊？因?yàn)橄到y(tǒng)可能有 2 個(gè) time 命令，一個(gè)是 shell 內(nèi)置的茵汰，一個(gè)是 GNU time 命令，后者路徑往往是 /usr/bin/time 可通過路徑調(diào)用。
# shell 內(nèi)置 time
$ type time
time is a shell keyword
# GNU time
$ which time
/usr/bin/time
兩個(gè) time 命令的輸入格式都是：
time [option ...] command [argument ...]
即 time 命令本身 + time 命令參數(shù) + 要測(cè)量的命令（程序）及其參數(shù)梧田。
直接調(diào)用 time 命令時(shí)可能會(huì)調(diào)用到 shell 內(nèi)置的，建議使用 /usr/bin/time 路徑調(diào)用悼尾。
# shell 內(nèi)置 time
$ time echo "just test"
just test
real 0m0.000s
user 0m0.000s
sys 0m0.000s
# GNU time
$ /usr/bin/time echo "just test"
just test
0.00user 0.00system 0:00.00elapsed 50%CPU (0avgtext+0avgdata 1792maxresident)k
0inputs+0outputs (0major+80minor)pagefaults 0swaps
GNU time 默認(rèn)輸出格式為：
%Uuser %Ssystem %Eelapsed %PCPU (%Xtext+%Ddata %Mmax)k
%Iinputs+%Ooutputs (%Fmajor+%Rminor)pagefaults %Wswaps
可通過 -f 參數(shù)修改輸出格式柿扣，如：
$ /usr/bin/time -f "%e elapsed %E user" echo "just test"
just test
0.00 elapsed 0:00.00 user
使用 -v 參數(shù)報(bào)告所有統(tǒng)計(jì)信息，我一般是這么用的闺魏，因?yàn)橐话?benchmark 都是要進(jìn)行大量不同條件的測(cè)試未状，而且要有重復(fù)。不如輸出所有統(tǒng)計(jì)保存到文件析桥，再寫個(gè)腳本去匯總統(tǒng)計(jì)司草。
$ /usr/bin/time -v echo "just test"
just test
Command being timed: "echo just test"
User time (seconds): 0.00
System time (seconds): 0.00
Percent of CPU this job got: 100%
Elapsed (wall clock) time (h:mm:ss or m:ss): 0:00.00
Average shared text size (kbytes): 0
Average unshared data size (kbytes): 0
Average stack size (kbytes): 0
Average total size (kbytes): 0
Maximum resident set size (kbytes): 1792
Average resident set size (kbytes): 0
Major (requiring I/O) page faults: 0
Minor (reclaiming a frame) page faults: 81
Voluntary context switches: 1
Involuntary context switches: 0
Swaps: 0
File system inputs: 0
File system outputs: 0
Socket messages sent: 0
Socket messages received: 0
Signals delivered: 0
Page size (bytes): 4096
Exit status: 0
其中 "Maximum resident set size" 指命令最大內(nèi)存占用艰垂；"Elapsed (wall clock) time" 是命令現(xiàn)實(shí)的耗時(shí)；"User time" 和 "System time" 加起來是 CPU time埋虹。
內(nèi)存占用多進(jìn)程問題
如果使用多進(jìn)程要注意最大內(nèi)存占用是否是所有進(jìn)程的加總猜憎，下面用一個(gè)測(cè)試腳本說明可能的問題，用 GNU time 測(cè)量結(jié)果與 psutil 測(cè)量結(jié)果進(jìn)行比較搔课。
將下面代碼寫入 MemoryTest.py 文件胰柑，代碼定義一個(gè) use_memory 函數(shù)會(huì)創(chuàng)建一個(gè)包含 1000000 隨機(jī)浮點(diǎn)數(shù)的列表。然后分別測(cè)試使用和不使用多進(jìn)程時(shí)最大內(nèi)存占用爬泥。
import multiprocessing
import random
import time
def use_memory(i):
random.seed(1001)
random_list = [random.random() for _ in range(1000000)]
time.sleep(10)
return None
# 非多進(jìn)程測(cè)試時(shí)使用
use_memory(0)
# 多進(jìn)程測(cè)試時(shí)使用
with multiprocessing.Pool(4) as poool:
poool.map(use_memory, range(4))
使用 time 命令測(cè)試不使用多進(jìn)程的結(jié)果如下：
$ /usr/bin/time -f %M python MemoryTest.py
403584
默認(rèn)單位為 Kbytes柬讨。
使用多進(jìn)程（4 進(jìn)程）的結(jié)果：
$ /usr/bin/time -f %M python MemoryTest.py
401632
兩個(gè)結(jié)果相近，這不符合預(yù)期袍啡，莫非 time 只是測(cè)量一個(gè)子進(jìn)程踩官，沒有給所有的加總處理？
作為對(duì)比境输，寫一個(gè) GetMemory.py 腳本蔗牡，腳本里使用 psutil 每隔 1 秒對(duì)命令測(cè)量一次內(nèi)存占用，并輸出最大的占用值嗅剖。
import psutil
import subprocess
import time
def peak_memory(process: psutil.Process) -> int:
rss = process.memory_info().rss
for child_process in process.children():
rss += child_process.memory_info().rss
return rss
if __name__ == "__main__":
run_cmd = subprocess.Popen(["python", "MemoryTest.py"])
process = psutil.Process(run_cmd.pid)
max_memory = 0
# 只要 MemoryTest.py 沒結(jié)束就每隔 1 秒鐘測(cè)量一次內(nèi)存占用
while run_cmd.poll() is None:
each_memory = peak_memory(process)
if each_memory > max_memory:
max_memory = each_memory
time.sleep(1)
print(f"Peak Memory (Kbytes): {int(max_memory / 1024)}")
腳本使用 poll 函數(shù)檢測(cè)命令是否完成辩越，不使用 psutil 的 is_running 函數(shù)，因?yàn)樵?while 循環(huán)使用后者信粮，會(huì)導(dǎo)致命令完成后由于主程序未接受退出狀態(tài)并處理区匣，命令變成 zombie 狀態(tài)。由于 psutil.Process 是跟 pid 綁定的蒋院，而系統(tǒng) pid 是會(huì)被重復(fù)使用的亏钩，所以用這個(gè)模塊要注意操作。
使用 psutil 測(cè)量時(shí)欺旧，不使用多進(jìn)程結(jié)果：
$ python GetMemory.py
Peak Memory (Kbytes): 403712
跟之前使用 time 測(cè)量結(jié)果相近姑丑。
使用多進(jìn)程結(jié)果：
$ python GetMemory.py
Peak Memory (Kbytes): 1620840
大小約是不使用多進(jìn)程的 4 倍，這也是設(shè)置的進(jìn)程數(shù)辞友，看起來是合理的栅哀。
