Python 的GIL與線程鎖

Python 程序是如何運行的仁热?

  1. 將源碼*.py 編譯成字節(jié)碼*.pyc
  2. 再由 Python 虛擬機逐行解釋*.pyc成機器碼俺夕,通知 CPU 執(zhí)行

名詞解釋:

  • 源碼 (Programing Code) - 我們用高級語言敲的代碼
  • 字節(jié)碼 (Byte Code) - 將高級語言編譯成更低一級的中間代碼契耿,方便虛擬機(VM)執(zhí)行
  • 機器碼 (Machine Code) - 用于操控 CPU 運行的二進制指令代碼

什么是 GIL?

Python 虛擬機默認使用的是 CPython 解釋器(C 語言實現)拣度,CPython 使用了 GIL (Golbal Iterpreter Lock - 全局解釋器鎖),來確保同一時間只有一個線程運行,所以即使再多的線程也只能有效的使用一個 CPU抗果。

為什么不刪除 GIL筋帖?

實驗證明,如果放棄 GIL冤馏,使用大量細粒度的鎖代替日麸,導致單線程性能下降至少 30%。所以說 GIL 在支持多線程的同時能把單線程的優(yōu)勢最大地發(fā)揮出來逮光。

GIL 的限制

由于 GIL 的存在代箭,即便是多線程的 Python 程序也無法利用多核 CPU 的優(yōu)勢。不過 I/O 密集型程序涕刚,依然適合使用多線程嗡综,因為它們大部分時間都在等待 I/O,對 CPU 依賴很低杜漠。

名詞解釋:

  • CPU 密集型 - 數學計算极景、搜索、圖像處理等
  • I/O 密集型 - 文件操作驾茴、網絡交互盼樟、數據庫操作等

怎么充分的利用多核?

使用多進程替代多線程沟涨,或者使用 C 擴展

有了 GIL 還需要線程鎖嗎恤批?

需要异吻。GIL 只是解釋器級別的鎖裹赴,它能保證當多個線程在修改一個變量時不會崩潰,但結果可能是錯亂的诀浪。

如多個線程修改全部變量i = i + 1棋返,是先讀取 i,再加 1 后雷猪,最后寫回內存睛竣,這會把在讀與寫期間其他線程對 i 的所有修改覆都蓋掉。所以我們需要用線程鎖來對整個讀寫過程加鎖求摇。

PyPy 是什么射沟?

Python 語言實現的另一種解釋器,使用了 JIT 編譯方式与境,沒有 GIL验夯。運行 Pure Python (純 Python 代碼) 程序速度更快。如果依賴了 C 擴展摔刁,反而會慢挥转,如 MysqlDB、protobuf 庫。

JIT 與其他編譯方式的對比:

  • Compilation: 先編譯成適用于本機識別的機器碼绑谣,再運行党窜,不同系統或 CPU 需要重新編譯 (如 C/C++)
  • Interpretation: 解釋器在程序運行時把字節(jié)碼逐行解釋成機器碼,邊解釋借宵,邊執(zhí)行 (如 CPython/Ruby)
  • JIT Compilation - 及時編譯 (Just-in-Time)幌衣,是對前兩張方法的整合,將多次調用的字節(jié)碼壤玫,解釋成機器碼泼掠,緩存起來,優(yōu)先讀緩存垦细,而非解釋择镇。支持跨平臺的同時,又降低了動態(tài)編譯對性能的影響括改。 (如 Java/C#/Pypy)

總結

根據應用場景選擇最佳的性能優(yōu)化方案

  1. I/O 密集型: 使用多線程
  2. I/O 密集型 & Pure Python: 使用 Pypy 解釋器
  3. CPU 密集型: 使用多進程或把復雜邏輯用 C 擴展實現
最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
  • 序言:七十年代末腻豌,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子嘱能,更是在濱河造成了極大的恐慌吝梅,老刑警劉巖,帶你破解...
    沈念sama閱讀 222,252評論 6 516
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件惹骂,死亡現場離奇詭異苏携,居然都是意外死亡,警方通過查閱死者的電腦和手機对粪,發(fā)現死者居然都...
    沈念sama閱讀 94,886評論 3 399
  • 文/潘曉璐 我一進店門右冻,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人著拭,你說我怎么就攤上這事纱扭。” “怎么了儡遮?”我有些...
    開封第一講書人閱讀 168,814評論 0 361
  • 文/不壞的土叔 我叫張陵乳蛾,是天一觀的道長。 經常有香客問我鄙币,道長肃叶,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 59,869評論 1 299
  • 正文 為了忘掉前任十嘿,我火速辦了婚禮因惭,結果婚禮上,老公的妹妹穿的比我還像新娘详幽。我一直安慰自己筛欢,他們只是感情好浸锨,可當我...
    茶點故事閱讀 68,888評論 6 398
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著版姑,像睡著了一般柱搜。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上剥险,一...
    開封第一講書人閱讀 52,475評論 1 312
  • 那天聪蘸,我揣著相機與錄音,去河邊找鬼表制。 笑死健爬,一個胖子當著我的面吹牛,可吹牛的內容都是我干的么介。 我是一名探鬼主播娜遵,決...
    沈念sama閱讀 41,010評論 3 422
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼壤短!你這毒婦竟也來了设拟?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 39,924評論 0 277
  • 序言:老撾萬榮一對情侶失蹤久脯,失蹤者是張志新(化名)和其女友劉穎纳胧,沒想到半個月后,有當地人在樹林里發(fā)現了一具尸體帘撰,經...
    沈念sama閱讀 46,469評論 1 319
  • 正文 獨居荒郊野嶺守林人離奇死亡跑慕,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 38,552評論 3 342
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現自己被綠了摧找。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片核行。...
    茶點故事閱讀 40,680評論 1 353
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖慰于,靈堂內的尸體忽然破棺而出钮科,到底是詐尸還是另有隱情唤衫,我是刑警寧澤婆赠,帶...
    沈念sama閱讀 36,362評論 5 351
  • 正文 年R本政府宣布,位于F島的核電站佳励,受9級特大地震影響休里,放射性物質發(fā)生泄漏。R本人自食惡果不足惜赃承,卻給世界環(huán)境...
    茶點故事閱讀 42,037評論 3 335
  • 文/蒙蒙 一妙黍、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧瞧剖,春花似錦拭嫁、人聲如沸可免。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,519評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽浇借。三九已至,卻和暖如春怕品,著一層夾襖步出監(jiān)牢的瞬間妇垢,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,621評論 1 274
  • 我被黑心中介騙來泰國打工肉康, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留闯估,地道東北人。 一個月前我還...
    沈念sama閱讀 49,099評論 3 378
  • 正文 我出身青樓吼和,卻偏偏與公主長得像涨薪,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子炫乓,可洞房花燭夜當晚...
    茶點故事閱讀 45,691評論 2 361

推薦閱讀更多精彩內容