爬蟲(chóng)架構(gòu)|Celery+RabbitMQ快速入門(一)

一、Celery和RabbitMQ簡(jiǎn)單介紹

Celery是一個(gè)基于Python開(kāi)發(fā)的分布式異步消息隊(duì)列栽渴,可以輕松實(shí)現(xiàn)任務(wù)的異步處理。它的基本工作就是管理分配任務(wù)到不同的服務(wù)器,并且取得結(jié)果开镣。至于說(shuō)服務(wù)器之間是如何進(jìn)行通信的欠啤?這個(gè)Celery本身不能解決荚藻。

Celery在執(zhí)行任務(wù)時(shí)需要一個(gè)消息中間件來(lái)接收和發(fā)送任務(wù)消息,以及存儲(chǔ)任務(wù)結(jié)果洁段,一般使用RabbitMQ 或 Redis应狱,我們這里只討論Celery+RabbitMQ,其他的組合方式讀者可以查閱更多資料祠丝。

RabbitMQ是一個(gè)由Erlang語(yǔ)言開(kāi)發(fā)的AMQP的開(kāi)源實(shí)現(xiàn)疾呻。AMQP即Advanced Message Queue,高級(jí)消息隊(duì)列協(xié)議写半。它是應(yīng)用層協(xié)議的一個(gè)開(kāi)放標(biāo)準(zhǔn)岸蜗,為面向消息的中間件設(shè)計(jì),基于此協(xié)議的客戶端與消息中間件可傳遞消息叠蝇,并不受產(chǎn)品璃岳、開(kāi)發(fā)語(yǔ)言等條件的限制。

在Celery+RabbitMQ組合中,RabbitMQ作為一個(gè)消息隊(duì)列管理工具被引入到和Celery集成铃慷,負(fù)責(zé)處理服務(wù)器之間的通信任務(wù)单芜。

那么有一個(gè)疑問(wèn):RabbitMQ作為消息管理系統(tǒng)已經(jīng)可以實(shí)現(xiàn)異步的發(fā)送消息,為什么還要使用Celery?

Celery相當(dāng)于包裝了一個(gè)現(xiàn)成的系統(tǒng)枚冗,可以方便的在項(xiàng)目中操作RabbitMQ這個(gè)消息隊(duì)列介質(zhì)缓溅,減少在RabbitMQ上編寫(xiě)腳本的任務(wù)。最直接的例子就是在Celery Python里赁温,只需要config一下settings坛怪,然后就可以用decorator輕松使用消息隊(duì)列,而不用在RabbitMQ上編寫(xiě)復(fù)雜的腳本股囊。

當(dāng)然袜匿,Celery也支持和Redis、MongoDB之類的組合稚疹,原因是RabbitMQ盡管足夠強(qiáng)大居灯,但對(duì)于一些相對(duì)簡(jiǎn)單的業(yè)務(wù)環(huán)境來(lái)說(shuō)可能太多(復(fù)雜)了一些。

二内狗、Celery+RabbitMQ是如何工作的怪嫌?

關(guān)于Celery和RabbitMQ的協(xié)作方式,可以通過(guò)工作上的一些案例來(lái)說(shuō)明:

假設(shè)A公司最近在開(kāi)下年度工作會(huì)議柳沙,會(huì)議上要確定下一年的工作內(nèi)容和計(jì)劃岩灭,參會(huì)人員有老板(下發(fā)任務(wù)者)、部門主管(Celery分配任務(wù)者)赂鲤、部門員工(工作者)噪径、老板秘書(shū)(溝通協(xié)調(diào)者RabbitMQ)。

那么這場(chǎng)會(huì)議首先需要確定的是下一年的具體工作內(nèi)容数初,這里就稱之為“任務(wù)內(nèi)容”找爱。比如老板說(shuō)我們下一年要開(kāi)發(fā)出一款社交類APP產(chǎn)品,部門主管表示贊同泡孩,于是便愉快地定下了具體的工作任務(wù)(task)车摄,當(dāng)然開(kāi)發(fā)一款社交類APP產(chǎn)品是這個(gè)項(xiàng)目的總?cè)蝿?wù),其中可以細(xì)分成很多小的任務(wù)仑鸥,比如業(yè)務(wù)流程是怎么樣的吮播?界面怎么設(shè)計(jì)等。?

在確定了具體工作任務(wù)后锈候,老板便把這個(gè)項(xiàng)目交給了部門主管(Celery)薄料,部門主管確定部門員工中誰(shuí)去完成這項(xiàng)任務(wù)敞贡,于是指定某個(gè)人(Worker)泵琳,也可以多個(gè)人。?

發(fā)布工作任務(wù)的人是老板(下發(fā)任務(wù)者),他指定了部門主管(Celery)什么時(shí)候去完成哪些任務(wù)获列,并要求獲取反饋信息谷市。但有一點(diǎn)需要注意,老板只管布置任務(wù)击孩,不參與具體的任務(wù)分配迫悠,這個(gè)任務(wù)分配的工作是交給部門主管(Celery)去執(zhí)行。?

項(xiàng)目之初巩梢,老板(下發(fā)任務(wù)者)通過(guò)公司會(huì)議將任務(wù)傳遞給部門主管(Celery)创泄,部門主管通過(guò)部門會(huì)議將任務(wù)分配給員工(Worker),過(guò)段時(shí)間再將任務(wù)結(jié)果反饋給老板括蝠。然而隨著任務(wù)越來(lái)越多鞠抑,部門主管發(fā)現(xiàn)任務(wù)太多,每個(gè)任務(wù)都要反饋結(jié)果忌警,記不住搁拙,也容易弄亂,導(dǎo)致效率下降法绵。?

在召開(kāi)會(huì)議商量了一番后箕速,老板秘書(shū)(溝通協(xié)調(diào)者RabbitMQ)站起來(lái)說(shuō):“我有個(gè)提議,老板每天將布置的任務(wù)寫(xiě)成一張紙條放到我這朋譬,然后部門主管每天早上來(lái)取并交給員工盐茎,至于紙條上的任務(wù)如何分配,部門主管決定就行此熬,但是要將結(jié)果同樣寫(xiě)一張紙條反饋給我庭呜,我再交給老板。這樣老板只負(fù)責(zé)下發(fā)任務(wù)犀忱,我只負(fù)責(zé)保管任務(wù)紙條募谎,部門主管只負(fù)責(zé)分配任務(wù)并獲取反饋,員工只負(fù)責(zé)按任務(wù)工作阴汇。大家職責(zé)都很明確数冬,效率肯定會(huì)更高〔笫”至此拐纱,老板與員工的溝通問(wèn)題也解決了。?

任務(wù)的處理方式如下圖1-1:

Celery+RabbitMQ是如何工作的

三哥倔、后續(xù)

下一篇文章我將具體講講它們?cè)诖a上的協(xié)助方式秸架。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市咆蒿,隨后出現(xiàn)的幾起案子东抹,更是在濱河造成了極大的恐慌蚂子,老刑警劉巖,帶你破解...
    沈念sama閱讀 210,835評(píng)論 6 490
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件缭黔,死亡現(xiàn)場(chǎng)離奇詭異食茎,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī)馏谨,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 89,900評(píng)論 2 383
  • 文/潘曉璐 我一進(jìn)店門别渔,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人惧互,你說(shuō)我怎么就攤上這事哎媚。” “怎么了喊儡?”我有些...
    開(kāi)封第一講書(shū)人閱讀 156,481評(píng)論 0 345
  • 文/不壞的土叔 我叫張陵抄伍,是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我管宵,道長(zhǎng)截珍,這世上最難降的妖魔是什么? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 56,303評(píng)論 1 282
  • 正文 為了忘掉前任箩朴,我火速辦了婚禮岗喉,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘炸庞。我一直安慰自己钱床,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,375評(píng)論 5 384
  • 文/花漫 我一把揭開(kāi)白布埠居。 她就那樣靜靜地躺著查牌,像睡著了一般。 火紅的嫁衣襯著肌膚如雪滥壕。 梳的紋絲不亂的頭發(fā)上纸颜,一...
    開(kāi)封第一講書(shū)人閱讀 49,729評(píng)論 1 289
  • 那天,我揣著相機(jī)與錄音绎橘,去河邊找鬼胁孙。 笑死,一個(gè)胖子當(dāng)著我的面吹牛称鳞,可吹牛的內(nèi)容都是我干的涮较。 我是一名探鬼主播,決...
    沈念sama閱讀 38,877評(píng)論 3 404
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼冈止,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼狂票!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起熙暴,我...
    開(kāi)封第一講書(shū)人閱讀 37,633評(píng)論 0 266
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤闺属,失蹤者是張志新(化名)和其女友劉穎毛肋,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體屋剑,經(jīng)...
    沈念sama閱讀 44,088評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,443評(píng)論 2 326
  • 正文 我和宋清朗相戀三年诗眨,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了唉匾。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 38,563評(píng)論 1 339
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡匠楚,死狀恐怖巍膘,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情芋簿,我是刑警寧澤峡懈,帶...
    沈念sama閱讀 34,251評(píng)論 4 328
  • 正文 年R本政府宣布,位于F島的核電站与斤,受9級(jí)特大地震影響肪康,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜撩穿,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,827評(píng)論 3 312
  • 文/蒙蒙 一磷支、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧食寡,春花似錦雾狈、人聲如沸。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 30,712評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至呻畸,卻和暖如春移盆,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背伤为。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 31,943評(píng)論 1 264
  • 我被黑心中介騙來(lái)泰國(guó)打工味滞, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人钮呀。 一個(gè)月前我還...
    沈念sama閱讀 46,240評(píng)論 2 360
  • 正文 我出身青樓剑鞍,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親爽醋。 傳聞我的和親對(duì)象是個(gè)殘疾皇子蚁署,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,435評(píng)論 2 348

推薦閱讀更多精彩內(nèi)容

  • 序言第1章 并行和分布式計(jì)算介紹第2章 異步編程第3章 Python的并行計(jì)算第4章 Celery分布式應(yīng)用第5章...
    SeanCheney閱讀 12,482評(píng)論 3 35
  • 來(lái)源 RabbitMQ是用Erlang實(shí)現(xiàn)的一個(gè)高并發(fā)高可靠AMQP消息隊(duì)列服務(wù)器。支持消息的持久化蚂四、事務(wù)光戈、擁塞控...
    jiangmo閱讀 10,346評(píng)論 2 34
  • Spring Cloud為開(kāi)發(fā)人員提供了快速構(gòu)建分布式系統(tǒng)中一些常見(jiàn)模式的工具(例如配置管理哪痰,服務(wù)發(fā)現(xiàn),斷路器久妆,智...
    卡卡羅2017閱讀 134,626評(píng)論 18 139
  • Modern Design微軟 Modern Design 是微軟2012年由Metro 更名而來(lái)的晌杰,也叫做Mic...
    Yumei_wang閱讀 1,080評(píng)論 0 5
  • 室友和我算是名副其實(shí)、實(shí)實(shí)在在筷弦、真真切切的資深單身狗了肋演。自我倆認(rèn)識(shí)的那天起,我倆就是單身烂琴。這種狀況大概...
    思公子sska閱讀 352評(píng)論 1 7