2019-07-02使用send喚醒生成器窒朋、迭代器生成器總結(jié)、yield蝗岖、greenlet侥猩、gevent、圖片下載器

協(xié)程

協(xié)程剪侮,又稱微線程拭宁,纖程洛退。英文名Coroutine瓣俯。

協(xié)程是啥

協(xié)程是python個中另外一種實現(xiàn)多任務(wù)的方式,只不過比線程更小占用更小執(zhí)行單元(理解為需要的資源)兵怯。 為啥說它是一個執(zhí)行單元彩匕,因為它自帶CPU上下文。這樣只要在合適的時機媒区, 我們可以把一個協(xié)程 切換到另一個協(xié)程驼仪。 只要這個過程中保存或恢復 CPU上下文那么程序還是可以運行的。

通俗的理解:在一個線程中的某個函數(shù)袜漩,可以在任何地方保存當前函數(shù)的一些臨時變量等信息绪爸,然后切換到另外一個函數(shù)中執(zhí)行,注意不是通過調(diào)用函數(shù)的方式做到的宙攻,并且切換的次數(shù)以及什么時候再切換到原來的函數(shù)都由開發(fā)者自己確定

協(xié)程和線程差異

在實現(xiàn)多任務(wù)時, 線程切換從系統(tǒng)層面遠不止保存和恢復 CPU上下文這么簡單奠货。 操作系統(tǒng)為了程序運行的高效性每個線程都有自己緩存Cache等等數(shù)據(jù),操作系統(tǒng)還會幫你做這些數(shù)據(jù)的恢復操作座掘。 所以線程的切換非常耗性能递惋。但是協(xié)程的切換只是單純的操作CPU的上下文柔滔,所以一秒鐘切換個上百萬次系統(tǒng)都抗的住。

簡單實現(xiàn)協(xié)程

importtimedefwork1():whileTrue:? ? ? ? print("----work1---")yieldtime.sleep(0.5)defwork2():whileTrue:? ? ? ? print("----work2---")yieldtime.sleep(0.5)defmain():w1 = work1()? ? w2 = work2()whileTrue:? ? ? ? next(w1)? ? ? ? next(w2)if__name__ =="__main__":? ? main()

運行結(jié)果:

----work1---

----work2---

----work1---

----work2---

----work1---

----work2---

----work1---

----work2---

----work1---

----work2---

----work1---

----work2---

...省略...

greenlet

為了更好使用協(xié)程來完成多任務(wù)萍虽,python中的greenlet模塊對其封裝睛廊,從而使得切換任務(wù)變的更加簡單

安裝方式

使用如下命令安裝greenlet模塊:

sudo pip3 install greenlet

#coding=utf-8fromgreenletimportgreenletimporttimedeftest1():whileTrue:print"---A--"gr2.switch()? ? ? ? time.sleep(0.5)deftest2():whileTrue:print"---B--"gr1.switch()? ? ? ? time.sleep(0.5)gr1 = greenlet(test1)gr2 = greenlet(test2)#切換到gr1中運行g(shù)r1.switch()

運行效果

---A--

---B--

---A--

---B--

---A--

---B--

---A--

---B--

...省略...

gevent

greenlet已經(jīng)實現(xiàn)了協(xié)程,但是這個還的人工切換杉编,是不是覺得太麻煩了超全,不要捉急,python還有一個比greenlet更強大的并且能夠自動切換任務(wù)的模塊gevent

其原理是當一個greenlet遇到IO(指的是input output 輸入輸出王财,比如網(wǎng)絡(luò)卵迂、文件操作等)操作時,比如訪問網(wǎng)絡(luò)绒净,就自動切換到其他的greenlet见咒,等到IO操作完成,再在適當?shù)臅r候切換回來繼續(xù)執(zhí)行挂疆。

由于IO操作非常耗時改览,經(jīng)常使程序處于等待狀態(tài),有了gevent為我們自動切換協(xié)程缤言,就保證總有g(shù)reenlet在運行宝当,而不是等待IO

安裝

pip3 install gevent

1. gevent的使用

importgeventdeff(n):foriinrange(n):? ? ? ? print(gevent.getcurrent(), i)g1 = gevent.spawn(f,5)g2 = gevent.spawn(f,5)g3 = gevent.spawn(f,5)g1.join()g2.join()g3.join()

運行結(jié)果

012340123401234

可以看到,3個greenlet是依次運行而不是交替運行

2. gevent切換執(zhí)行

importgeventdeff(n):foriinrange(n):? ? ? ? print(gevent.getcurrent(), i)#用來模擬一個耗時操作胆萧,注意不是time模塊中的sleepgevent.sleep(1)g1 = gevent.spawn(f,5)g2 = gevent.spawn(f,5)g3 = gevent.spawn(f,5)g1.join()g2.join()g3.join()

運行結(jié)果

000111222333444

3. 給程序打補丁

fromgeventimportmonkeyimportgeventimportrandomimporttimedefcoroutine_work(coroutine_name):foriinrange(10):? ? ? ? print(coroutine_name, i)? ? ? ? time.sleep(random.random())gevent.joinall([? ? ? ? gevent.spawn(coroutine_work,"work1"),? ? ? ? gevent.spawn(coroutine_work,"work2")])

運行結(jié)果

work10work11work12work13work14work15work16work17work18work19work20work21work22work23work24work25work26work27work28work29

fromgeventimportmonkeyimportgeventimportrandomimporttime# 有耗時操作時需要monkey.patch_all()# 將程序中用到的耗時操作的代碼庆揩,換為gevent中自己實現(xiàn)的模塊defcoroutine_work(coroutine_name):foriinrange(10):? ? ? ? print(coroutine_name, i)? ? ? ? time.sleep(random.random())gevent.joinall([? ? ? ? gevent.spawn(coroutine_work,"work1"),? ? ? ? gevent.spawn(coroutine_work,"work2")])

運行結(jié)果

work10work20work11work12work13work21work14work22work15work23work16work17work18work24work25work19work26work27work28work29

進程、線程跌穗、協(xié)程對比

簡單總結(jié)

進程是資源分配的單位

線程是操作系統(tǒng)調(diào)度的單位

進程切換需要的資源很最大订晌,效率很低

線程切換需要的資源一般,效率一般(當然了在不考慮GIL的情況下)

協(xié)程切換任務(wù)資源很小蚌吸,效率高

多進程锈拨、多線程根據(jù)cpu核數(shù)不一樣可能是并行的,但是協(xié)程是在一個線程中 所以是并發(fā)

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末羹唠,一起剝皮案震驚了整個濱河市奕枢,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌佩微,老刑警劉巖缝彬,帶你破解...
    沈念sama閱讀 207,248評論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異哺眯,居然都是意外死亡谷浅,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,681評論 2 381
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來壳贪,“玉大人陵珍,你說我怎么就攤上這事∥ナ” “怎么了互纯?”我有些...
    開封第一講書人閱讀 153,443評論 0 344
  • 文/不壞的土叔 我叫張陵,是天一觀的道長磕蒲。 經(jīng)常有香客問我留潦,道長,這世上最難降的妖魔是什么辣往? 我笑而不...
    開封第一講書人閱讀 55,475評論 1 279
  • 正文 為了忘掉前任兔院,我火速辦了婚禮,結(jié)果婚禮上站削,老公的妹妹穿的比我還像新娘坊萝。我一直安慰自己,他們只是感情好许起,可當我...
    茶點故事閱讀 64,458評論 5 374
  • 文/花漫 我一把揭開白布十偶。 她就那樣靜靜地躺著,像睡著了一般园细。 火紅的嫁衣襯著肌膚如雪惦积。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,185評論 1 284
  • 那天猛频,我揣著相機與錄音狮崩,去河邊找鬼。 笑死鹿寻,一個胖子當著我的面吹牛睦柴,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播烈和,決...
    沈念sama閱讀 38,451評論 3 401
  • 文/蒼蘭香墨 我猛地睜開眼爱只,長吁一口氣:“原來是場噩夢啊……” “哼皿淋!你這毒婦竟也來了招刹?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 37,112評論 0 261
  • 序言:老撾萬榮一對情侶失蹤窝趣,失蹤者是張志新(化名)和其女友劉穎疯暑,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體哑舒,經(jīng)...
    沈念sama閱讀 43,609評論 1 300
  • 正文 獨居荒郊野嶺守林人離奇死亡妇拯,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,083評論 2 325
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片越锈。...
    茶點故事閱讀 38,163評論 1 334
  • 序言:一個原本活蹦亂跳的男人離奇死亡仗嗦,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出甘凭,到底是詐尸還是另有隱情稀拐,我是刑警寧澤,帶...
    沈念sama閱讀 33,803評論 4 323
  • 正文 年R本政府宣布丹弱,位于F島的核電站德撬,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏躲胳。R本人自食惡果不足惜蜓洪,卻給世界環(huán)境...
    茶點故事閱讀 39,357評論 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望坯苹。 院中可真熱鬧隆檀,春花似錦、人聲如沸粹湃。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,357評論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽再芋。三九已至菊霜,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間济赎,已是汗流浹背鉴逞。 一陣腳步聲響...
    開封第一講書人閱讀 31,590評論 1 261
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留司训,地道東北人构捡。 一個月前我還...
    沈念sama閱讀 45,636評論 2 355
  • 正文 我出身青樓,卻偏偏與公主長得像壳猜,于是被迫代替她去往敵國和親勾徽。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 42,925評論 2 344

推薦閱讀更多精彩內(nèi)容

  • 迭代统扳、迭代器喘帚、生成器、協(xié)程咒钟、yield吹由、greenlet、gevent朱嘴、進程線程協(xié)程對比倾鲫、gevent多任務(wù)圖片下...
    Cestine閱讀 482評論 0 0
  • 協(xié)程 閱讀目錄 一 引子 二 協(xié)程介紹 三 Greenlet模塊 四 Gevent模塊 引子 之前我們學習了線程乌昔、...
    go以恒閱讀 696評論 0 1
  • 一隙疚、總體內(nèi)容 1.1、協(xié)程的介紹 1.2磕道、迭代器以及迭代器的應(yīng)用 1.3甚淡、生成器(生成器與迭代器保存的都是生成數(shù)據(jù)...
    IIronMan閱讀 861評論 0 1
  • 在之前,我已經(jīng)在兩篇文章中分別介紹了gevent的使用以及gevent的底層greenlet的使用捅厂,可以閱讀文章回...
    WolfLC閱讀 3,235評論 0 7
  • 名人死以后焙贷,后人就想著給她寫傳記撵割,不論生前與其熟否,有的人是真熟辙芍,有的人是假熟啡彬,即便是生前與其一句話都未說,也愿意...
    zhh心素如簡閱讀 176評論 1 0