7個(gè)測(cè)量Python腳本和控制內(nèi)存以及CPU使用率的技巧

當(dāng)運(yùn)行一個(gè)復(fù)雜的 Python 程序鹿鳖,它需要很長時(shí)間來執(zhí)行。你或許想提升它的執(zhí)行時(shí)間壮莹。但如何做翅帜?

首先,你需要工具來查明你代碼的瓶頸命满,比如涝滴,那部分執(zhí)行花費(fèi)的時(shí)間長。用這個(gè)方法周荐,你可以首先專注于提升這部分的速度狭莱。

而且,你也應(yīng)該控制內(nèi)存和 CPU 使用率概作,因?yàn)樗梢詾槟阒赋龅拇a可以改進(jìn)的新的部分腋妙。

所以,在本文中讯榕,我將對(duì) 7 個(gè)不同的 Python 工具發(fā)表意見骤素,給你一些關(guān)于你函數(shù)執(zhí)行時(shí)間和內(nèi)存以及** CPU 使用率**的見解。

1. 使用一個(gè)裝飾器來測(cè)量你的函數(shù)

測(cè)量一個(gè)函數(shù)最簡(jiǎn)單的方式就是定義一個(gè)裝飾器來測(cè)量運(yùn)行該函數(shù)的運(yùn)行時(shí)間愚屁,并打印該結(jié)果:

7個(gè)測(cè)量Python腳本和控制內(nèi)存以及CPU使用率的技巧

這時(shí)济竹,你已經(jīng)在你想測(cè)量的函數(shù)之前添加了裝飾器,像:

7個(gè)測(cè)量Python腳本和控制內(nèi)存以及CPU使用率的技巧

例如霎槐,讓我們測(cè)量下排序一個(gè) 2000000 個(gè)隨機(jī)數(shù)的數(shù)組會(huì)花費(fèi)多長時(shí)間:

7個(gè)測(cè)量Python腳本和控制內(nèi)存以及CPU使用率的技巧

如果你運(yùn)行你的腳本送浊,你將看到:

7個(gè)測(cè)量Python腳本和控制內(nèi)存以及CPU使用率的技巧

2. 使用 timeit 模塊

另外一個(gè)選項(xiàng)是使用 timeit 模塊,它給你測(cè)量一個(gè)平均時(shí)間丘跌。

為了運(yùn)行它袭景,在你的終端執(zhí)行以下命令:

7個(gè)測(cè)量Python腳本和控制內(nèi)存以及CPU使用率的技巧

timing_functions 是你腳本的名字。

在輸出的最后闭树,你會(huì)看到一些像這樣的東西:

7個(gè)測(cè)量Python腳本和控制內(nèi)存以及CPU使用率的技巧

表明了運(yùn)行這個(gè)測(cè)試 4 次(-n 4)颊艳,并在每個(gè)測(cè)試中重復(fù)平均 5 次(-r 5)基跑,最佳的結(jié)果是 2.08 秒憨降。

如果你沒有指定測(cè)試或者重復(fù)立帖,它默認(rèn)是 10 次循環(huán)和 5 次重復(fù)。

3. 使用 Uinx 的 time 命令

盡管如此,裝飾器和 timeit 模塊都是基于 Python 的幅疼。這就是為什么 unix time 工具或許有用米奸,因?yàn)樗且粋€(gè)外部的 Python 測(cè)量。

為了運(yùn)行 time 工具類型:

7個(gè)測(cè)量Python腳本和控制內(nèi)存以及CPU使用率的技巧

將給出如下輸出:

7個(gè)測(cè)量Python腳本和控制內(nèi)存以及CPU使用率的技巧

第一行來自于我們定義的裝飾器衣屏,其他三行是:

1. real 表明了執(zhí)行腳本花費(fèi)的總時(shí)間

2. User 表明了執(zhí)行腳本花費(fèi)在的 CPU 時(shí)間

3. Sys 表明了執(zhí)行腳本花費(fèi)在內(nèi)核函數(shù)的時(shí)間

因此躏升, real time 和 user+sys 相加的不同或許表明了時(shí)間花費(fèi)在等待 I/O 或者是系統(tǒng)在忙于執(zhí)行其他任務(wù)。

4. 使用 cProfile 模塊

如果你想知道花費(fèi)在每個(gè)函數(shù)和方法上的時(shí)間狼忱,以及它們被調(diào)用了多少次膨疏,你可以使用 cProfile 模塊。

7個(gè)測(cè)量Python腳本和控制內(nèi)存以及CPU使用率的技巧

現(xiàn)在你將看到你的代碼中每個(gè)函數(shù)被調(diào)用多少次的詳細(xì)描述钻弄,并且它將通過累積花費(fèi)在每個(gè)函數(shù)上面的時(shí)間來排序(感謝 -s cumulative 選項(xiàng))

7個(gè)測(cè)量Python腳本和控制內(nèi)存以及CPU使用率的技巧

你將看到花費(fèi)在運(yùn)行你的腳本的總時(shí)間是比以前高的佃却。這是我們測(cè)量每個(gè)函數(shù)執(zhí)行時(shí)間的損失。

5. 使用 line_profiler 模塊

line_profiler 給出了在你代碼每一行花費(fèi)的 CPU 時(shí)間窘俺。

這個(gè)模塊首先應(yīng)該被安裝饲帅,使用命令:

7個(gè)測(cè)量Python腳本和控制內(nèi)存以及CPU使用率的技巧

下一步,你需要指定你想使用裝飾器 @profile 評(píng)估哪個(gè)函數(shù)(你不需要把它 import 到你的文件中)瘤泪。

7個(gè)測(cè)量Python腳本和控制內(nèi)存以及CPU使用率的技巧

最后灶泵,你可以通過鍵入以下命令取得random_sort2函數(shù)逐行的描述:

7個(gè)測(cè)量Python腳本和控制內(nèi)存以及CPU使用率的技巧

-l 標(biāo)識(shí)表明了逐行和 -v 標(biāo)識(shí)表明詳細(xì)輸出。使用這個(gè)方法对途,我們看到了數(shù)組結(jié)構(gòu)花費(fèi)了 44% 的計(jì)算時(shí)間赦邻,sort() 方法花費(fèi)了剩余的 56%。

7個(gè)測(cè)量Python腳本和控制內(nèi)存以及CPU使用率的技巧

你也將看到实檀,由于時(shí)間測(cè)量惶洲,這個(gè)腳本執(zhí)行花費(fèi)的或許更長。

6. 使用 memory_profiler 模塊

memory_profiler 模塊被用于在逐行的基礎(chǔ)上膳犹,測(cè)量你代碼的內(nèi)存使用率恬吕。盡管如此,它可能使得你的代碼運(yùn)行的更慢须床。

安裝:

7個(gè)測(cè)量Python腳本和控制內(nèi)存以及CPU使用率的技巧

也建議安裝 psutil 包铐料,使得 memory_profile 模塊運(yùn)行的更快:

7個(gè)測(cè)量Python腳本和控制內(nèi)存以及CPU使用率的技巧

類似 line_profiler 的方式,使用裝飾器 @profile 來標(biāo)記哪個(gè)函數(shù)被跟蹤豺旬。下一步余赢,鍵入:

7個(gè)測(cè)量Python腳本和控制內(nèi)存以及CPU使用率的技巧

是的,前面的腳本比之前的 1 或 2 秒需要更長的時(shí)間哈垢。并且,如果你不安裝 psutil 模塊扛拨,你將一直等待結(jié)果耘分。

7個(gè)測(cè)量Python腳本和控制內(nèi)存以及CPU使用率的技巧

看上面的輸出,注意內(nèi)存使用率的單位是 MiB,這代表的是兆字節(jié)(1MiB = 1.05MB)求泰。

7. 使用 guppy 包

最后央渣,使用這個(gè)包,你可以跟蹤每個(gè)類型在你代碼中每個(gè)階段(字符渴频, 元組芽丹, 字典 等等)有多少對(duì)象被創(chuàng)建了。

安裝:

7個(gè)測(cè)量Python腳本和控制內(nèi)存以及CPU使用率的技巧

下一步卜朗,像這樣添加到你的代碼中:

7個(gè)測(cè)量Python腳本和控制內(nèi)存以及CPU使用率的技巧

并且這樣運(yùn)行你的代碼:

7個(gè)測(cè)量Python腳本和控制內(nèi)存以及CPU使用率的技巧

你將看到一些像下面的輸出:

7個(gè)測(cè)量Python腳本和控制內(nèi)存以及CPU使用率的技巧

通過配置 heap 在你的代碼的不同地方拔第,你可以在腳本中學(xué)到對(duì)象的創(chuàng)建和銷毀。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末场钉,一起剝皮案震驚了整個(gè)濱河市蚊俺,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌逛万,老刑警劉巖泳猬,帶你破解...
    沈念sama閱讀 206,214評(píng)論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異宇植,居然都是意外死亡得封,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,307評(píng)論 2 382
  • 文/潘曉璐 我一進(jìn)店門指郁,熙熙樓的掌柜王于貴愁眉苦臉地迎上來忙上,“玉大人,你說我怎么就攤上這事坡氯〕亢幔” “怎么了?”我有些...
    開封第一講書人閱讀 152,543評(píng)論 0 341
  • 文/不壞的土叔 我叫張陵箫柳,是天一觀的道長手形。 經(jīng)常有香客問我,道長悯恍,這世上最難降的妖魔是什么库糠? 我笑而不...
    開封第一講書人閱讀 55,221評(píng)論 1 279
  • 正文 為了忘掉前任,我火速辦了婚禮涮毫,結(jié)果婚禮上瞬欧,老公的妹妹穿的比我還像新娘。我一直安慰自己罢防,他們只是感情好艘虎,可當(dāng)我...
    茶點(diǎn)故事閱讀 64,224評(píng)論 5 371
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著咒吐,像睡著了一般野建。 火紅的嫁衣襯著肌膚如雪属划。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,007評(píng)論 1 284
  • 那天候生,我揣著相機(jī)與錄音同眯,去河邊找鬼。 笑死唯鸭,一個(gè)胖子當(dāng)著我的面吹牛须蜗,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播目溉,決...
    沈念sama閱讀 38,313評(píng)論 3 399
  • 文/蒼蘭香墨 我猛地睜開眼明肮,長吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來了停做?” 一聲冷哼從身側(cè)響起晤愧,我...
    開封第一講書人閱讀 36,956評(píng)論 0 259
  • 序言:老撾萬榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎蛉腌,沒想到半個(gè)月后官份,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 43,441評(píng)論 1 300
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡烙丛,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 35,925評(píng)論 2 323
  • 正文 我和宋清朗相戀三年舅巷,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片河咽。...
    茶點(diǎn)故事閱讀 38,018評(píng)論 1 333
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡钠右,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出忘蟹,到底是詐尸還是另有隱情飒房,我是刑警寧澤,帶...
    沈念sama閱讀 33,685評(píng)論 4 322
  • 正文 年R本政府宣布媚值,位于F島的核電站狠毯,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏褥芒。R本人自食惡果不足惜嚼松,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,234評(píng)論 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望锰扶。 院中可真熱鬧献酗,春花似錦、人聲如沸坷牛。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,240評(píng)論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽京闰。三九已至颜及,卻和暖如春痴怨,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背器予。 一陣腳步聲響...
    開封第一講書人閱讀 31,464評(píng)論 1 261
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留捐迫,地道東北人乾翔。 一個(gè)月前我還...
    沈念sama閱讀 45,467評(píng)論 2 352
  • 正文 我出身青樓,卻偏偏與公主長得像施戴,于是被迫代替她去往敵國和親反浓。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 42,762評(píng)論 2 345

推薦閱讀更多精彩內(nèi)容