Python 并發(fā)技術(shù)2

版權(quán)聲明:自由轉(zhuǎn)載-非商用-非衍生-保持署名 | Creative Commons BY-NC-ND 3.0

本文首發(fā)地址:http://jackeygao.com/post/python-concurrent2

一般程序并發(fā)分為多線程多進(jìn)程并發(fā).

那么什么時(shí)候選擇兩種并發(fā)手段贸辈, 該如何選擇呢灼捂, 應(yīng)用場(chǎng)景是什么传蹈?

根據(jù)編程邏輯一般需要計(jì)算密集和I/O操作密集的時(shí)候選擇并發(fā)提高程序效率鞭莽, Python 由于GIL的限制枉疼,密集性運(yùn)算需要使用多核心CPU時(shí)候旭贬, 這時(shí)候多線程顯得力不從心呛梆, 甚至?xí)兊酶6?dāng)需要I/O操作犬辰, 比如HTTP長(zhǎng)連接的時(shí)候嗦篱, 耗費(fèi)的時(shí)間只是TCP建立鏈接的等待時(shí)間, 這時(shí)候當(dāng)然優(yōu)先使用多線程幌缝。

所以一般情況下灸促, 我們開發(fā)程序耗費(fèi)比較慢的是計(jì)算密集I/O密集兩種情況下的邏輯, 那么我可以采群选:

  • 計(jì)算密集:多進(jìn)程
  • I/O密集:多線程

推薦使用庫:

concurrent.futures 是python3新增加的一個(gè)庫浴栽,用于并發(fā)處理,類似于其他語言里的線程池(也有一個(gè)進(jìn)程池)轿偎,他屬于上層的封裝典鸡,對(duì)于用戶來說,不用在考慮那么多東西了, 現(xiàn)已加入python 3.2標(biāo)準(zhǔn)庫贴硫, python 2.7需要安裝一下椿每。

pip install futures

Executor:兩個(gè)子ThreadPoolExecutorProcessPoolExecutor分別是產(chǎn)生進(jìn)程池和線程池

Future:有Executor.submit產(chǎn)生多任務(wù)

ThreadPoolExecutor 和 ProcessPoolExecutor直接python的with as 控制流語句伊者, 讓你非常簡(jiǎn)單的就套入了程序里面英遭。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市亦渗,隨后出現(xiàn)的幾起案子挖诸,更是在濱河造成了極大的恐慌,老刑警劉巖法精,帶你破解...
    沈念sama閱讀 210,914評(píng)論 6 490
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件多律,死亡現(xiàn)場(chǎng)離奇詭異痴突,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)狼荞,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 89,935評(píng)論 2 383
  • 文/潘曉璐 我一進(jìn)店門辽装,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人相味,你說我怎么就攤上這事拾积。” “怎么了丰涉?”我有些...
    開封第一講書人閱讀 156,531評(píng)論 0 345
  • 文/不壞的土叔 我叫張陵拓巧,是天一觀的道長(zhǎng)。 經(jīng)常有香客問我一死,道長(zhǎng)肛度,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 56,309評(píng)論 1 282
  • 正文 為了忘掉前任投慈,我火速辦了婚禮承耿,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘伪煤。我一直安慰自己瘩绒,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,381評(píng)論 5 384
  • 文/花漫 我一把揭開白布带族。 她就那樣靜靜地躺著锁荔,像睡著了一般。 火紅的嫁衣襯著肌膚如雪蝙砌。 梳的紋絲不亂的頭發(fā)上阳堕,一...
    開封第一講書人閱讀 49,730評(píng)論 1 289
  • 那天,我揣著相機(jī)與錄音择克,去河邊找鬼恬总。 笑死,一個(gè)胖子當(dāng)著我的面吹牛肚邢,可吹牛的內(nèi)容都是我干的壹堰。 我是一名探鬼主播,決...
    沈念sama閱讀 38,882評(píng)論 3 404
  • 文/蒼蘭香墨 我猛地睜開眼骡湖,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼贱纠!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起响蕴,我...
    開封第一講書人閱讀 37,643評(píng)論 0 266
  • 序言:老撾萬榮一對(duì)情侶失蹤谆焊,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后浦夷,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體辖试,經(jīng)...
    沈念sama閱讀 44,095評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡辜王,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,448評(píng)論 2 325
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了罐孝。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片呐馆。...
    茶點(diǎn)故事閱讀 38,566評(píng)論 1 339
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖莲兢,靈堂內(nèi)的尸體忽然破棺而出摹恰,到底是詐尸還是另有隱情,我是刑警寧澤怒见,帶...
    沈念sama閱讀 34,253評(píng)論 4 328
  • 正文 年R本政府宣布俗慈,位于F島的核電站,受9級(jí)特大地震影響遣耍,放射性物質(zhì)發(fā)生泄漏闺阱。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,829評(píng)論 3 312
  • 文/蒙蒙 一舵变、第九天 我趴在偏房一處隱蔽的房頂上張望酣溃。 院中可真熱鬧,春花似錦纪隙、人聲如沸赊豌。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,715評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽碘饼。三九已至,卻和暖如春悲伶,著一層夾襖步出監(jiān)牢的瞬間艾恼,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 31,945評(píng)論 1 264
  • 我被黑心中介騙來泰國打工麸锉, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留钠绍,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 46,248評(píng)論 2 360
  • 正文 我出身青樓花沉,卻偏偏與公主長(zhǎng)得像柳爽,于是被迫代替她去往敵國和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子碱屁,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,440評(píng)論 2 348

推薦閱讀更多精彩內(nèi)容