協(xié)程
協(xié)程剪侮,又稱微線程拭宁,纖程洛退。英文名Coroutine瓣俯。
協(xié)程是啥
協(xié)程是python個中另外一種實現(xiàn)多任務(wù)的方式,只不過比線程更小占用更小執(zhí)行單元(理解為需要的資源)兵怯。 為啥說它是一個執(zhí)行單元彩匕,因為它自帶CPU上下文。這樣只要在合適的時機媒区, 我們可以把一個協(xié)程 切換到另一個協(xié)程驼仪。 只要這個過程中保存或恢復 CPU上下文那么程序還是可以運行的。
通俗的理解:在一個線程中的某個函數(shù)袜漩,可以在任何地方保存當前函數(shù)的一些臨時變量等信息绪爸,然后切換到另外一個函數(shù)中執(zhí)行,注意不是通過調(diào)用函數(shù)的方式做到的宙攻,并且切換的次數(shù)以及什么時候再切換到原來的函數(shù)都由開發(fā)者自己確定
協(xié)程和線程差異
在實現(xiàn)多任務(wù)時, 線程切換從系統(tǒng)層面遠不止保存和恢復 CPU上下文這么簡單奠货。 操作系統(tǒng)為了程序運行的高效性每個線程都有自己緩存Cache等等數(shù)據(jù),操作系統(tǒng)還會幫你做這些數(shù)據(jù)的恢復操作座掘。 所以線程的切換非常耗性能递惋。但是協(xié)程的切換只是單純的操作CPU的上下文柔滔,所以一秒鐘切換個上百萬次系統(tǒng)都抗的住。
簡單實現(xiàn)協(xié)程
importtimedefwork1():whileTrue:? ? ? ? print("----work1---")yieldtime.sleep(0.5)defwork2():whileTrue:? ? ? ? print("----work2---")yieldtime.sleep(0.5)defmain():w1 = work1()? ? w2 = work2()whileTrue:? ? ? ? next(w1)? ? ? ? next(w2)if__name__ =="__main__":? ? main()
運行結(jié)果:
----work1---
----work2---
----work1---
----work2---
----work1---
----work2---
----work1---
----work2---
----work1---
----work2---
----work1---
----work2---
...省略...
greenlet
為了更好使用協(xié)程來完成多任務(wù)萍虽,python中的greenlet模塊對其封裝睛廊,從而使得切換任務(wù)變的更加簡單
安裝方式
使用如下命令安裝greenlet模塊:
sudo pip3 install greenlet
#coding=utf-8fromgreenletimportgreenletimporttimedeftest1():whileTrue:print"---A--"gr2.switch()? ? ? ? time.sleep(0.5)deftest2():whileTrue:print"---B--"gr1.switch()? ? ? ? time.sleep(0.5)gr1 = greenlet(test1)gr2 = greenlet(test2)#切換到gr1中運行g(shù)r1.switch()
運行效果
---A--
---B--
---A--
---B--
---A--
---B--
---A--
---B--
...省略...
gevent
greenlet已經(jīng)實現(xiàn)了協(xié)程,但是這個還的人工切換杉编,是不是覺得太麻煩了超全,不要捉急,python還有一個比greenlet更強大的并且能夠自動切換任務(wù)的模塊gevent
其原理是當一個greenlet遇到IO(指的是input output 輸入輸出王财,比如網(wǎng)絡(luò)卵迂、文件操作等)操作時,比如訪問網(wǎng)絡(luò)绒净,就自動切換到其他的greenlet见咒,等到IO操作完成,再在適當?shù)臅r候切換回來繼續(xù)執(zhí)行挂疆。
由于IO操作非常耗時改览,經(jīng)常使程序處于等待狀態(tài),有了gevent為我們自動切換協(xié)程缤言,就保證總有g(shù)reenlet在運行宝当,而不是等待IO
安裝
pip3 install gevent
1. gevent的使用
importgeventdeff(n):foriinrange(n):? ? ? ? print(gevent.getcurrent(), i)g1 = gevent.spawn(f,5)g2 = gevent.spawn(f,5)g3 = gevent.spawn(f,5)g1.join()g2.join()g3.join()
運行結(jié)果
012340123401234
可以看到,3個greenlet是依次運行而不是交替運行
2. gevent切換執(zhí)行
importgeventdeff(n):foriinrange(n):? ? ? ? print(gevent.getcurrent(), i)#用來模擬一個耗時操作胆萧,注意不是time模塊中的sleepgevent.sleep(1)g1 = gevent.spawn(f,5)g2 = gevent.spawn(f,5)g3 = gevent.spawn(f,5)g1.join()g2.join()g3.join()
運行結(jié)果
000111222333444
3. 給程序打補丁
fromgeventimportmonkeyimportgeventimportrandomimporttimedefcoroutine_work(coroutine_name):foriinrange(10):? ? ? ? print(coroutine_name, i)? ? ? ? time.sleep(random.random())gevent.joinall([? ? ? ? gevent.spawn(coroutine_work,"work1"),? ? ? ? gevent.spawn(coroutine_work,"work2")])
運行結(jié)果
work10work11work12work13work14work15work16work17work18work19work20work21work22work23work24work25work26work27work28work29
fromgeventimportmonkeyimportgeventimportrandomimporttime# 有耗時操作時需要monkey.patch_all()# 將程序中用到的耗時操作的代碼庆揩,換為gevent中自己實現(xiàn)的模塊defcoroutine_work(coroutine_name):foriinrange(10):? ? ? ? print(coroutine_name, i)? ? ? ? time.sleep(random.random())gevent.joinall([? ? ? ? gevent.spawn(coroutine_work,"work1"),? ? ? ? gevent.spawn(coroutine_work,"work2")])
運行結(jié)果
work10work20work11work12work13work21work14work22work15work23work16work17work18work24work25work19work26work27work28work29
進程、線程跌穗、協(xié)程對比
簡單總結(jié)
進程是資源分配的單位
線程是操作系統(tǒng)調(diào)度的單位
進程切換需要的資源很最大订晌,效率很低
線程切換需要的資源一般,效率一般(當然了在不考慮GIL的情況下)
協(xié)程切換任務(wù)資源很小蚌吸,效率高
多進程锈拨、多線程根據(jù)cpu核數(shù)不一樣可能是并行的,但是協(xié)程是在一個線程中 所以是并發(fā)