print 函數(shù)已老殊橙,DeBug 該靠 PySnooper 了~
小伙伴們,你們都怎樣 DeBug Python 代碼俄精?是不是常用 print 大法询筏?在本文介紹的這個(gè)項(xiàng)目中,deBug Python 代碼再也不需要 print 了竖慧。只要給有疑問的代碼加上裝飾器嫌套,各種信息一目了然,找出錯(cuò)誤也就非常簡(jiǎn)單了圾旨。
這個(gè)名為 PySnooper 的項(xiàng)目是剛開源的踱讨,僅僅一天就獲得了 2K+ 的 Star 量,當(dāng)然這「一天」還沒結(jié)束砍的,這個(gè)收藏量也會(huì)繼續(xù)刷新勇蝙。
項(xiàng)目地址:https://github.com/cool-RR/pysnooper
Python 怎樣 DeBug?
如果寫著寫著模型挨约,發(fā)現(xiàn)模型不 work 了,那么你該怎樣找出 Python 的錯(cuò)誤語句产雹?這種錯(cuò)誤一般與語法無關(guān)诫惭,而是某個(gè)變量的運(yùn)算發(fā)生了錯(cuò)誤。接下來我們就要慢慢找哪個(gè)地方有問題了蔓挖,這里最常見夕土、最直觀的方法就是 print 大法。把我們懷疑的變量打印出來瘟判,總會(huì)找到異常的地方怨绣。
如果代碼中嵌入了單元測(cè)試,例如 assert 語句拷获,那么還能縮小一些懷疑范圍篮撑。但通常我們都要多次嘗試,打印多個(gè)變量才能找到錯(cuò)誤的地方匆瓜。在 PyTorch 或 Keras 這樣的動(dòng)態(tài)計(jì)算圖還好赢笨,打印出來的直接是一個(gè)值,像 TensorFlow 這樣的靜態(tài)計(jì)算圖驮吱,打印出來是張量信息而不是值茧妒,這就很尷尬了。
實(shí)際上不止是機(jī)器學(xué)習(xí)左冬,在我們寫 Python 的時(shí)候桐筏,總是想搞清楚為什么寫的代碼在運(yùn)行時(shí)有點(diǎn)不大對(duì)。很多讀者樂于使用斷點(diǎn)等成熟的 DeBug 工具拇砰,也有的直接使用 print 大法找錯(cuò)誤的地方梅忌。但現(xiàn)在我們不需要擔(dān)心了狰腌,本文將介紹一個(gè)新的開源工具,它信心滿滿地呼吁到:「不要再使用 print 函數(shù)來 DeBug 啦~」
學(xué)習(xí)Python中的小伙伴铸鹰,需要學(xué)習(xí)資料的話癌别,可以前往我的微信公眾號(hào):速學(xué)Python,后臺(tái)回復(fù):簡(jiǎn)書蹋笼,即可拿Python學(xué)習(xí)資料
這里有我自己整理了一套最新的python系統(tǒng)學(xué)習(xí)教程展姐,包括從基礎(chǔ)的python腳本到web開發(fā)、爬蟲剖毯、數(shù)據(jù)分析圾笨、數(shù)據(jù)可視化、機(jī)器學(xué)習(xí)等逊谋。送給正在學(xué)習(xí)python的小伙伴擂达!這里是python學(xué)習(xí)者聚集地,歡迎初學(xué)和進(jìn)階中的小伙伴胶滋!
極簡(jiǎn)DeBug工具PySnooper
一般情況下板鬓,想要知道哪一行代碼在運(yùn)行、哪一行不運(yùn)行究恤、本地變量的值是多少時(shí)俭令,大部分人會(huì)使用 print 函數(shù),在關(guān)鍵部分打印某個(gè)或某組變量的值部宿、形狀抄腔、類型等信息。
而 PySnooper 讓你能快速地獲得這些信息理张,且相比之下它不需要細(xì)致地寫 print 函數(shù)赫蛇,只需要向感興趣的函數(shù)增加一個(gè)裝飾器就行了。我們會(huì)得到該函數(shù)的詳細(xì) log雾叭,包含哪行代碼能運(yùn)行悟耘、什么時(shí)候運(yùn)行以及本地變量變化的確切時(shí)間。
相比于其他代碼智能工具拷况,PySnooper 為何如此優(yōu)秀作煌?因?yàn)椴恍枰魏卧O(shè)置,你就可以在劣等赚瘦、不規(guī)則的企業(yè)代碼庫上使用 PySnooper粟誓。只需要加個(gè)裝飾器,并為日志輸出地址指定路徑就行了起意。
這樣說可能不太直觀鹰服,下面我們可以具體看個(gè)案例,PySnooper 的優(yōu)秀就能一目了然。
PySnooper 案例
下面項(xiàng)目作者寫了一個(gè)函數(shù)以將數(shù)值轉(zhuǎn)換為二進(jìn)制碼悲酷,該函數(shù)返回的是一個(gè)二進(jìn)制列表套菜。下面我們將裝飾器 @pysnooper.snoop() 加到該函數(shù)上,就大功告成了设易。
import pysnooper
@pysnooper.snoop()
def number_to_bits(number):
if number:
bits = []
while number:
number, remainder = divmod(number, 2)
bits.insert(0, remainder)
return bits
else:
return [0]
number_to_bits(6)
該函數(shù)返回的日志如下逗柴,我們可以看到在調(diào)用 number_to_bits 函數(shù)時(shí),賦予參數(shù) number 的初始值為 6顿肺。然后戏溺,PySnooper 就還是對(duì)著源代碼一行行分析了。
如上分析所示屠尊,函數(shù)每創(chuàng)建一個(gè)新變量旷祸,那么這個(gè)變量的值、這個(gè)變量的變化都會(huì)展示出來讼昆。而且 PySnooper 還將循環(huán)展開托享,因此變化的細(xì)節(jié)更加明確。最終 6 的二進(jìn)制版本應(yīng)該是 [1, 1, 0]浸赫,它的變化過程也展示在 bits 變量中闰围。
現(xiàn)在通過這些詳細(xì)信息,PySnooper 再也不用擔(dān)心我們用 print 函數(shù)強(qiáng)行 deBug 了既峡。
PySnooper 詳細(xì)特征
如果標(biāo)準(zhǔn)錯(cuò)誤輸出難以獲得辫诅,或者太長(zhǎng)了,那么可以將輸出定位到本地文件:
@pysnooper.snoop('/my/log/file.log')
查看一些非本地變量的值:
@pysnooper.snoop(variables=('foo.bar', 'self.whatever'))
展示我們函數(shù)中調(diào)用函數(shù)的 snoop 行:
@pysnooper.snoop(depth=2)
將所有 snoop 行以某個(gè)前綴開始涧狮,更容易定位和找到:
@pysnooper.snoop(prefix='ZZZ ')
演示 PySnooper
下面我們最開始嘗試使用 PySnooper 獲取 TensorFlow 的信息,如果它能獲取各種張量信息么夫,那可就太強(qiáng)大了者冤。
首先使用 pip 安裝包:
pip install pysnooper
果然,TensorFlow 這種靜態(tài)圖并不能很好地獲取信息档痪,讀者也可嘗試一下涉枫。后面我們?cè)嚵嗽?NumPy,希望能獲取整個(gè)計(jì)算流的信息腐螟。如下代碼所示愿汰,我們創(chuàng)建了兩個(gè)數(shù)組變量,并且 2×2 的矩陣會(huì)連乘多次乐纸,如果能追蹤到這種連乘衬廷,那就比較好處理錯(cuò)誤。
import pysnooper
import numpy as np
@pysnooper.snoop()
def multi_matmul(times):
x = np.random.rand(2, 2)
w = np.random.rand(2, 2)
for i in range(times):
x = np.matmul(x, w)
return x
multi_matmul(3)
對(duì)于 NumPy汽绢,該工具確實(shí)能追蹤所有可疑變量的變化過程吗跋。當(dāng)然在實(shí)際運(yùn)算中,矩陣乘法的維度會(huì)非常大,我們可以直接追蹤形狀(Shape)跌宛,而不是具體的值酗宋。