Trip: 給Requests加上協(xié)程细层,一百份網(wǎng)絡(luò)請(qǐng)求一份時(shí)間

Trip 是一個(gè)協(xié)程的網(wǎng)絡(luò)庫(kù)惜辑,如 Requests 一般簡(jiǎn)單的操作,程序不再被網(wǎng)絡(luò)阻塞疫赎。

項(xiàng)目主頁(yè)見(jiàn)這里:github

兼容 Python 2.7+ 的所有版本盛撑,主流三大操作系統(tǒng)。

基于兩大依賴包:TRIP: Tornado & Requests In Pair捧搞。

感謝Tornado與Requests讓想法可以快速變成現(xiàn)實(shí)抵卫,坦誠(chéng)的說(shuō),這個(gè)項(xiàng)目我只做了一些簡(jiǎn)單的工作胎撇。

讓協(xié)程變的簡(jiǎn)單

這是一個(gè)讓協(xié)程變的簡(jiǎn)單的項(xiàng)目陌僵,你只需要這樣:

import trip

@trip.coroutine
def main():
    r = yield trip.get('https://httpbin.org/get', auth=('user', 'pass'))
    print(r.content)

trip.run(main)

一百份請(qǐng)求一份時(shí)間

基于 Tornado 的協(xié)程讓網(wǎng)絡(luò)阻塞不再成為問(wèn)題:(這里演示兼容用法)

import time, functools

import requests, trip

def timeit(fn):
    start_time = time.time()
    fn()
    return time.time() - start_time

url = 'http://httpbin.org/get'
times = 10 # 100 changed for inland network delay

def fetch():
    r = [requests.get(url) for i in range(times)]
    return r

@trip.coroutine
def async_fetch():
    r = yield [trip.get(url) for i in range(times)]
    raise trip.Return(r)

print('Non-trip cost: %ss' % timeit(fetch))
print('Trip cost: %ss' % timeit(functools.partial(trip.run, async_fetch)))

# Result:
# Non-trip cost: 17.90799999237s
# Trip cost: 0.172300004959s

由于協(xié)程的特性,所有的等待時(shí)間重合在了一起创坞。

你不需要每個(gè)請(qǐng)求開(kāi)一個(gè)線程碗短,主線程中一切也可以井然有序的進(jìn)行。

可以想象如果你在寫(xiě)一個(gè)爬蟲(chóng)题涨,這將節(jié)省多少時(shí)間偎谁!

讓協(xié)程服務(wù)人類

基于 Requests 的操作方式讓協(xié)程 HTTP 從未如此簡(jiǎn)單:(這里使用 Python3 演示async/await)

>>> async def main():
...     global r
...     r = await trip.get('https://httpbin.org/basic-auth/user/pass', auth=('user', 'pass'))
...
>>> trip.run(main)
>>> r.status_code
200
>>> r.headers['content-type']
'application/json'
>>> r.encoding
None
>>> r.text
u'{"authenticated": true,...'
>>> r.json()
{u'authenticated': True, u'user': u'user'}

只要你有一些 Requests 基礎(chǔ)就可以輕松使用 Trip,協(xié)程不再遙不可及纲堵。

重現(xiàn)了幾乎所有 Requests 的操作巡雨,最大限度的減少了你的學(xué)習(xí)成本。

以一個(gè)爬蟲(chóng)為例

為了不打擾正常網(wǎng)站的運(yùn)行席函,這里以httpbin.org作為目標(biāo)網(wǎng)站铐望。
設(shè)置 Cookies 模擬登陸,get 請(qǐng)求模擬爬取內(nèi)容茂附。

那么普通 Requests 是這樣的:

import requests

url = 'http://httpbin.org'
s = requests.Session()

def fetch(times=10):
    s.get('%s/cookies/set?name=value' % url)
    r = [s.get('%s/get' % url) for i in range(times)]
    print r

fetch()

使用 Trip 以后就會(huì)變成這樣:

import trip

url = 'http://httpbin.org'
s = trip.Session()

@trip.coroutine
def fetch(times=10):
    yield s.get('%s/cookies/set?name=value' % url)
    r = yield [s.get('%s/get' % url) for i in range(times)]
    print r

trip.run(fetch)

幾乎不需要修改代碼正蛙,爬蟲(chóng)就獲得了協(xié)程的特性!

最后

爬蟲(chóng)耗時(shí)太久優(yōu)化困難嗎营曼?
各種協(xié)程網(wǎng)絡(luò)框架難以使用嗎乒验?
大型爬蟲(chóng)框架臃腫無(wú)法靈活定制嗎?

試試Trip蒂阱,你不會(huì)后悔的锻全!

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市录煤,隨后出現(xiàn)的幾起案子鳄厌,更是在濱河造成了極大的恐慌,老刑警劉巖妈踊,帶你破解...
    沈念sama閱讀 218,858評(píng)論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件了嚎,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡响委,警方通過(guò)查閱死者的電腦和手機(jī)新思,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,372評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門(mén),熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)赘风,“玉大人夹囚,你說(shuō)我怎么就攤上這事⊙裕” “怎么了荸哟?”我有些...
    開(kāi)封第一講書(shū)人閱讀 165,282評(píng)論 0 356
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)瞬捕。 經(jīng)常有香客問(wèn)我鞍历,道長(zhǎng),這世上最難降的妖魔是什么肪虎? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 58,842評(píng)論 1 295
  • 正文 為了忘掉前任劣砍,我火速辦了婚禮,結(jié)果婚禮上扇救,老公的妹妹穿的比我還像新娘刑枝。我一直安慰自己,他們只是感情好迅腔,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,857評(píng)論 6 392
  • 文/花漫 我一把揭開(kāi)白布装畅。 她就那樣靜靜地躺著,像睡著了一般沧烈。 火紅的嫁衣襯著肌膚如雪掠兄。 梳的紋絲不亂的頭發(fā)上,一...
    開(kāi)封第一講書(shū)人閱讀 51,679評(píng)論 1 305
  • 那天锌雀,我揣著相機(jī)與錄音蚂夕,去河邊找鬼。 笑死腋逆,一個(gè)胖子當(dāng)著我的面吹牛双抽,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播闲礼,決...
    沈念sama閱讀 40,406評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼牍汹,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了柬泽?” 一聲冷哼從身側(cè)響起慎菲,我...
    開(kāi)封第一講書(shū)人閱讀 39,311評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎锨并,沒(méi)想到半個(gè)月后露该,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,767評(píng)論 1 315
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡第煮,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,945評(píng)論 3 336
  • 正文 我和宋清朗相戀三年解幼,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了抑党。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 40,090評(píng)論 1 350
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡撵摆,死狀恐怖底靠,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情特铝,我是刑警寧澤暑中,帶...
    沈念sama閱讀 35,785評(píng)論 5 346
  • 正文 年R本政府宣布,位于F島的核電站鲫剿,受9級(jí)特大地震影響鳄逾,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜灵莲,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,420評(píng)論 3 331
  • 文/蒙蒙 一雕凹、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧政冻,春花似錦请琳、人聲如沸。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 31,988評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至榕堰,卻和暖如春竖慧,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背逆屡。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,101評(píng)論 1 271
  • 我被黑心中介騙來(lái)泰國(guó)打工圾旨, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人魏蔗。 一個(gè)月前我還...
    沈念sama閱讀 48,298評(píng)論 3 372
  • 正文 我出身青樓砍的,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親莺治。 傳聞我的和親對(duì)象是個(gè)殘疾皇子廓鞠,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,033評(píng)論 2 355

推薦閱讀更多精彩內(nèi)容