協(xié)程的封裝模塊greenlet和gevent

python中的協(xié)程是通過yield生成器的特性實現(xiàn)的晴圾,但如果直接使用確實不方便,greenlet對其作了封裝人乓,使其用起來更方便:

首先安裝模塊:

from greenlet import greenlet
import time

def test1():
    while True:
        print('-------test1------')
        g2.switch() #表示切換到g2協(xié)程
        time.sleep(1)

def test2():
    while True:
        print('-------test2-------')
        g1.switch() #表示切換到g1協(xié)程
        time.sleep(1)

g1 = greenlet(test1)
g2 = greenlet(test2)
g1.switch()#表示切換到g1協(xié)程

這樣就能很方便的控制線程間的切換都毒。
但是在實際問題中自己控制切換是很麻煩的事,要判斷何時切換何時轉(zhuǎn)回來温鸽,在gevent模塊中就完成了自動檢測費(fèi)時操作,轉(zhuǎn)到其他協(xié)程姑尺,然后費(fèi)時結(jié)束后在回來繼續(xù)執(zhí)行蝠猬,其中的底層原理應(yīng)該和select和epoll的消息通知有關(guān)。下面看gevent的使用事例柄粹。

from gevent import monkey
import gevent
from urllib import request

#給原來的io操作加上補(bǔ)丁,使它不堵塞支持協(xié)程
monkey.patch_all()

def download(url):
    print('開始下載%s'%url)
    result = request.urlopen(url)
    print('正在讀取')
    s = result.readline()
    print('%s里的數(shù)據(jù)為%s'%(url,s))

gevent.joinall(
    [gevent.spawn(download,url) for url in ('http://www.baidu.com','http://www.sohu.com','http://www.soso.com') ]
)

運(yùn)行結(jié)果:

開始下載http://www.baidu.com
開始下載http://www.sohu.com
開始下載http://www.soso.com
正在讀取
http://www.sohu.com里的數(shù)據(jù)為b'<!DOCTYPE html>\n'
正在讀取
http://www.baidu.com里的數(shù)據(jù)為b'<!DOCTYPE html>\n'
正在讀取
http://www.soso.com里的數(shù)據(jù)為b'<!DOCTYPE html>\r\n'

從上面結(jié)果可以看出什黑,當(dāng)遇到urlopen'這樣的io操作時堪夭,cpu發(fā)出io操作命令后,就跳到了其他的協(xié)程中森爽,直到io操作結(jié)束才切換回來。

關(guān)于monkey

monky是一種動態(tài)追加功能的補(bǔ)丁橘蜜,利用動態(tài)語言的靈活性付呕,改變內(nèi)建的函數(shù)或?qū)ο蟆Mㄟ^monkey.patch_all(),原來的urlopn已經(jīng)發(fā)生了改變凡涩,不在是原有的堵塞了,而是支持協(xié)程的非堵塞力麸。

from gevent import monkey
from urllib import request
import socket
url = 'http://www.baidu.com'
print('monkey之前')
print(request.urlopen)
print(socket.socket)

monkey.patch_all()
print('monky之后')
print(request.urlopen)
print(socket.socket)

運(yùn)行結(jié)果:

monkey之前
<function urlopen at 0x0000018E24828730>
<class 'socket.socket'>
monky之后
<function urlopen at 0x0000018E24828730>
<class 'gevent._socket3.socket'>

可見monkey后socket已經(jīng)不是原來的socket了育韩,urlopen也應(yīng)該做了相應(yīng)的改變,雖然不知都改了哪里埃叭。

總結(jié)

  1. greenlet是對協(xié)程的一個封裝悉罕,使的協(xié)程間的切換變得方便易于控制
  2. gevent實現(xiàn)了自動識別io操作,自動進(jìn)行協(xié)程的切換調(diào)度壁袄。是一種更高級的封裝。
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末涩僻,一起剝皮案震驚了整個濱河市逆日,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌室抽,老刑警劉巖,帶你破解...
    沈念sama閱讀 221,273評論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件噩死,死亡現(xiàn)場離奇詭異神年,居然都是意外死亡行嗤,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,349評論 3 398
  • 文/潘曉璐 我一進(jìn)店門飘千,熙熙樓的掌柜王于貴愁眉苦臉地迎上來栈雳,“玉大人,你說我怎么就攤上這事霉旗。” “怎么了厌秒?”我有些...
    開封第一講書人閱讀 167,709評論 0 360
  • 文/不壞的土叔 我叫張陵擅憔,是天一觀的道長。 經(jīng)常有香客問我蚌讼,道長个榕,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 59,520評論 1 296
  • 正文 為了忘掉前任夏志,我火速辦了婚禮,結(jié)果婚禮上沟蔑,老公的妹妹穿的比我還像新娘。我一直安慰自己厅须,他們只是感情好食棕,可當(dāng)我...
    茶點故事閱讀 68,515評論 6 397
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著眶拉,像睡著了一般憔儿。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上谒臼,一...
    開封第一講書人閱讀 52,158評論 1 308
  • 那天蜈缤,我揣著相機(jī)與錄音,去河邊找鬼底哥。 笑死,一個胖子當(dāng)著我的面吹牛叠艳,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播吃粒,決...
    沈念sama閱讀 40,755評論 3 421
  • 文/蒼蘭香墨 我猛地睜開眼拒课,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了僻肖?” 一聲冷哼從身側(cè)響起卢鹦,我...
    開封第一講書人閱讀 39,660評論 0 276
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎揉稚,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體搀玖,經(jīng)...
    沈念sama閱讀 46,203評論 1 319
  • 正文 獨居荒郊野嶺守林人離奇死亡灌诅,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,287評論 3 340
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了即舌。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片关带。...
    茶點故事閱讀 40,427評論 1 352
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出务豺,到底是詐尸還是另有隱情,我是刑警寧澤笼沥,帶...
    沈念sama閱讀 36,122評論 5 349
  • 正文 年R本政府宣布奔浅,位于F島的核電站,受9級特大地震影響汹桦,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜舞骆,卻給世界環(huán)境...
    茶點故事閱讀 41,801評論 3 333
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望督禽。 院中可真熱鬧,春花似錦睛蛛、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,272評論 0 23
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽难菌。三九已至,卻和暖如春遇绞,著一層夾襖步出監(jiān)牢的瞬間燎窘,已是汗流浹背摹闽。 一陣腳步聲響...
    開封第一講書人閱讀 33,393評論 1 272
  • 我被黑心中介騙來泰國打工付鹿, 沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留蚜迅,地道東北人。 一個月前我還...
    沈念sama閱讀 48,808評論 3 376
  • 正文 我出身青樓坐梯,卻偏偏與公主長得像,于是被迫代替她去往敵國和親吵血。 傳聞我的和親對象是個殘疾皇子偷溺,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 45,440評論 2 359

推薦閱讀更多精彩內(nèi)容