Python中的優(yōu)化:惰性求值詳解

惰性求值邓馒,也就是延遲求值,表達式不會在它被綁定到變量之后就立即求值蛾坯,而是等用到時再求值光酣。這個特性可以解決一些巨大甚至無限的集合列表,如菲波那切數(shù)列脉课、幾十G的文件等等救军。延遲求值的一個好處是能夠建立可計算的無限列表而沒有妨礙計算的無限循環(huán)或大小問題。

Python 中的很多方法沒有直接返回列表倘零,而是返回了一個可迭代的generator (生成器)對象唱遭,這便是python的惰性求值,因為在創(chuàng)建一個很大的列表時呈驶,對內(nèi)存的開銷非常大拷泽,太大時python會直接報錯,舉個??:range()方法是產(chǎn)生一個指定范圍列表俐东,在Python3之前跌穗,該方法直接產(chǎn)生一個列表,xrange() 產(chǎn)生一個生成器:

>>> xrange(100)
xrange(100)
>>> range(100)
[0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46, 47, 48, 49, 50, 51, 52, 53, 54, 55, 56, 57, 58, 59, 60, 61, 62, 63, 64, 65, 66, 67, 68, 69, 70, 71, 72, 73, 74, 75, 76, 77, 78, 79, 80, 81, 82, 83, 84, 85, 86, 87, 88, 89, 90, 91, 92, 93, 94, 95, 96, 97, 98, 99]

當參數(shù)里面的值足夠大時虏辫,range()產(chǎn)生了一個巨大的列表蚌吸,這是內(nèi)存會吃不消,等待一段時間后程序會直接被Kill掉:

>>> for i in range(999999999999):
...     print i
... 
Killed: 9
占滿內(nèi)存

用xrange() 方法就不回出現(xiàn)這種問題砌庄,并且可以一直運行:

>>> for i in xrange(999999999999):
...     print i
... 
0
1
2
3
4
5
6
7
8
9
10...

在Python3中range已經(jīng)被改為了xrange,所以在python3中可以放心使用range().

惰性求值不要求你事先準備好整個迭代過程中所有的元素羹唠。迭代器僅僅在迭代至某個元素時才計算該元素,而在這之前或之后娄昆,元素可以不存在或者被銷毀
還有前文所說的list comprehension語句,在兩邊放上[]佩微,會產(chǎn)生別表,如果數(shù)據(jù)源很長則會報內(nèi)存錯誤:

>>> print [i for i in range(9999999999999999)]
Python(1627,0x7fffe5b713c0) malloc: *** mach_vm_map(size=80000000000000000) failed (error code=3)
*** error: can't allocate region
*** set a breakpoint in malloc_error_break to debug
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
MemoryError

這樣直接產(chǎn)生列表沒有效率萌焰,為了創(chuàng)建生成器對象哺眯,可以在list comprehension兩邊放上(),這樣它就有了惰性求值的特性扒俯。

>>> print((i for i in range(99999999999999)))
<generator object <genexpr> at 0x106e29f10>

使用next()內(nèi)建函數(shù)訪問生成器里的元素:

num = (i for i in range(5))
>>> num
<generator object <genexpr> at 0x106e89048>
>>> next(num)
0
>>> next(num)
1
>>> for j in range(4):
...     print(next(num))
... 
2
3
4
Traceback (most recent call last):
  File "<stdin>", line 2, in <module>
StopIteration

當訪問到最后元素時奶卓,再調(diào)用next(),Python將會拋出StopIteration異常一疯。Python正是根據(jù)是否檢查到這個異常來決定是否停止迭代。

step1 = someLongOperation1()
step2 = someLongOperation2()
step3 = concatenate(step1, step2)

以上代碼需要分別執(zhí)行一二兩步操作夺姑,第三步用到一二兩步的結果墩邀,在Pyhton中會有序的執(zhí)行這些函數(shù):首先是 someLongOperation1,然后 someLongOperation2盏浙,最后 concatenate眉睹,如果確保沒有函數(shù)修改或依賴于全局變量,第一二步可以被并行執(zhí)行废膘。假設我們不想并行運行這兩個函數(shù)竹海,我們只在其他函數(shù)依賴于 step1 和 step2 時才需要執(zhí)行這兩個函數(shù)。我們甚至在 concatenate 調(diào)用之前都不必執(zhí)行他們殖卑,可以把他們的求值延遲到 concatenate 函數(shù)內(nèi)實際用到他們的位置站削。如果函數(shù)中用到了if分支語句,條件無關step1和step2則可以盡量將判斷條件放前面以減少不必要的計算:

step1 = someLongOperation1()
step2 = someLongOperation2()
if condition:
   step3 = concatenate(step1, step2)
換為:
if condition:
    step1 = someLongOperation1()
    step2 = someLongOperation2()
    step3 = concatenate(step1, step2)

如果 concatenate 是一個帶有條件分支的函數(shù)并且有的分支中只用了兩個參數(shù)中的一個孵稽,另一個參數(shù)就永遠沒有必要被求值许起。

最后編輯于
?著作權歸作者所有,轉載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市菩鲜,隨后出現(xiàn)的幾起案子园细,更是在濱河造成了極大的恐慌,老刑警劉巖接校,帶你破解...
    沈念sama閱讀 216,744評論 6 502
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件猛频,死亡現(xiàn)場離奇詭異,居然都是意外死亡蛛勉,警方通過查閱死者的電腦和手機鹿寻,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,505評論 3 392
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來诽凌,“玉大人毡熏,你說我怎么就攤上這事÷滤校” “怎么了痢法?”我有些...
    開封第一講書人閱讀 163,105評論 0 353
  • 文/不壞的土叔 我叫張陵,是天一觀的道長杜顺。 經(jīng)常有香客問我财搁,道長,這世上最難降的妖魔是什么躬络? 我笑而不...
    開封第一講書人閱讀 58,242評論 1 292
  • 正文 為了忘掉前任尖奔,我火速辦了婚禮,結果婚禮上,老公的妹妹穿的比我還像新娘提茁。我一直安慰自己仗嗦,他們只是感情好,可當我...
    茶點故事閱讀 67,269評論 6 389
  • 文/花漫 我一把揭開白布甘凭。 她就那樣靜靜地躺著,像睡著了一般火邓。 火紅的嫁衣襯著肌膚如雪丹弱。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,215評論 1 299
  • 那天铲咨,我揣著相機與錄音躲胳,去河邊找鬼。 笑死纤勒,一個胖子當著我的面吹牛坯苹,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播摇天,決...
    沈念sama閱讀 40,096評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼粹湃,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了泉坐?” 一聲冷哼從身側響起为鳄,我...
    開封第一講書人閱讀 38,939評論 0 274
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎腕让,沒想到半個月后孤钦,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,354評論 1 311
  • 正文 獨居荒郊野嶺守林人離奇死亡纯丸,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,573評論 2 333
  • 正文 我和宋清朗相戀三年偏形,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片觉鼻。...
    茶點故事閱讀 39,745評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡俊扭,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出滑凉,到底是詐尸還是另有隱情统扳,我是刑警寧澤,帶...
    沈念sama閱讀 35,448評論 5 344
  • 正文 年R本政府宣布畅姊,位于F島的核電站咒钟,受9級特大地震影響,放射性物質發(fā)生泄漏若未。R本人自食惡果不足惜朱嘴,卻給世界環(huán)境...
    茶點故事閱讀 41,048評論 3 327
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧萍嬉,春花似錦乌昔、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,683評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至行冰,卻和暖如春溺蕉,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背悼做。 一陣腳步聲響...
    開封第一講書人閱讀 32,838評論 1 269
  • 我被黑心中介騙來泰國打工疯特, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人肛走。 一個月前我還...
    沈念sama閱讀 47,776評論 2 369
  • 正文 我出身青樓漓雅,卻偏偏與公主長得像,于是被迫代替她去往敵國和親朽色。 傳聞我的和親對象是個殘疾皇子邻吞,可洞房花燭夜當晚...
    茶點故事閱讀 44,652評論 2 354

推薦閱讀更多精彩內(nèi)容