【Celery】python分布式框架基礎(chǔ)

0x01 基本概念

架構(gòu)圖

如上圖所示急灭,由三部分組成:消息中間件(message broker)、任務(wù)執(zhí)行單元(worker)珊燎、任務(wù)執(zhí)行結(jié)果存儲(chǔ)(task result store)

消息中間件

Celery本身不提供消息服務(wù),但是可以方便的和第三方提供的消息中間件集成。包括炼杖,RabbitMQ, Redis, MongoDB (experimental), Amazon SQS (experimental),CouchDB (experimental), SQLAlchemy (experimental),Django ORM (experimental), IronMQ

任務(wù)執(zhí)行單元

Worker是Celery提供的任務(wù)執(zhí)行的單元,worker并發(fā)的運(yùn)行在分布式的系統(tǒng)節(jié)點(diǎn)中盗迟。

任務(wù)結(jié)果存儲(chǔ)

Task result store用來(lái)存儲(chǔ)Worker執(zhí)行的任務(wù)的結(jié)果坤邪,Celery支持以不同方式存儲(chǔ)任務(wù)的結(jié)果,包括AMQP, Redis罚缕,memcached, MongoDB艇纺,SQLAlchemy, Django ORM,Apache Cassandra, IronCache

0x02 實(shí)例

創(chuàng)建實(shí)例app:

# celery.py
from celery import Celery

app = Celery('task_name', backend='amqp://guest@localhost//', broker='amqp://guest@localhost//')

# 加載celery配置
app.conf.update(
    CELERY_TASK_SERIALIZER='json',
    CELERY_ACCEPT_CONTENT=['json'],  # Ignore other content
    CELERY_RESULT_SERIALIZER='json',
    CELERY_TIMEZONE='Europe/Oslo',
    CELERY_ENABLE_UTC=True,

## 可以把配置寫(xiě)到py文件內(nèi)加載
app.config_from_object('django.conf:settings')

## 自動(dòng)發(fā)現(xiàn)任務(wù)(需要在app下創(chuàng)建tasks.py模塊)
app.autodiscover_tasks(lambda: settings.INSTALLED_APPS)

創(chuàng)建tasks.py:

# tasks.py
from celery import app

@app.task
def add(x, y):
    return x+y

啟動(dòng)worker(啟動(dòng)完邮弹,當(dāng)然此時(shí)broker中還沒(méi)有任務(wù)黔衡,worker此時(shí)相當(dāng)于處于待命的狀態(tài))

celery -A tasks task_name --loglevel-info

觸發(fā)任務(wù):

#trigger.py
from tasks import add

result = add.delay(4, 4) #不要直接 add(4, 4),這里需要用 celery 提供的接口 delay 進(jìn)行調(diào)用

while not result.ready():
    time.sleep(1)

print 'task done: {0}'.format(result.get())

delay返回的是一個(gè)AsyncResult對(duì)象腌乡,里面存的就是一個(gè)異步的結(jié)果盟劫,當(dāng)任務(wù)完成時(shí)result.ready()為T(mén)rue,然后用result.get()取結(jié)果即可与纽。

至此侣签,一個(gè)簡(jiǎn)單的任務(wù)隊(duì)列就完成了。


歡迎關(guān)注微信公眾號(hào)(coder0x00)或掃描下方二維碼關(guān)注急迂,我們將持續(xù)搜尋程序員必備基礎(chǔ)技能包提供給大家影所。


最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市僚碎,隨后出現(xiàn)的幾起案子猴娩,更是在濱河造成了極大的恐慌,老刑警劉巖勺阐,帶你破解...
    沈念sama閱讀 218,386評(píng)論 6 506
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件卷中,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡皆看,警方通過(guò)查閱死者的電腦和手機(jī)仓坞,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,142評(píng)論 3 394
  • 文/潘曉璐 我一進(jìn)店門(mén),熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)腰吟,“玉大人无埃,你說(shuō)我怎么就攤上這事徙瓶。” “怎么了嫉称?”我有些...
    開(kāi)封第一講書(shū)人閱讀 164,704評(píng)論 0 353
  • 文/不壞的土叔 我叫張陵侦镇,是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我织阅,道長(zhǎng)壳繁,這世上最難降的妖魔是什么? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 58,702評(píng)論 1 294
  • 正文 為了忘掉前任荔棉,我火速辦了婚禮闹炉,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘润樱。我一直安慰自己渣触,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,716評(píng)論 6 392
  • 文/花漫 我一把揭開(kāi)白布壹若。 她就那樣靜靜地躺著嗅钻,像睡著了一般。 火紅的嫁衣襯著肌膚如雪店展。 梳的紋絲不亂的頭發(fā)上养篓,一...
    開(kāi)封第一講書(shū)人閱讀 51,573評(píng)論 1 305
  • 那天,我揣著相機(jī)與錄音赂蕴,去河邊找鬼柳弄。 笑死,一個(gè)胖子當(dāng)著我的面吹牛概说,可吹牛的內(nèi)容都是我干的语御。 我是一名探鬼主播,決...
    沈念sama閱讀 40,314評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼席怪,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了纤控?” 一聲冷哼從身側(cè)響起挂捻,我...
    開(kāi)封第一講書(shū)人閱讀 39,230評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎船万,沒(méi)想到半個(gè)月后刻撒,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,680評(píng)論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡耿导,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,873評(píng)論 3 336
  • 正文 我和宋清朗相戀三年声怔,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片舱呻。...
    茶點(diǎn)故事閱讀 39,991評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡醋火,死狀恐怖悠汽,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情芥驳,我是刑警寧澤柿冲,帶...
    沈念sama閱讀 35,706評(píng)論 5 346
  • 正文 年R本政府宣布,位于F島的核電站兆旬,受9級(jí)特大地震影響假抄,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜丽猬,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,329評(píng)論 3 330
  • 文/蒙蒙 一宿饱、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧脚祟,春花似錦谬以、人聲如沸。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 31,910評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至沥寥,卻和暖如春碍舍,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背邑雅。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,038評(píng)論 1 270
  • 我被黑心中介騙來(lái)泰國(guó)打工片橡, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人淮野。 一個(gè)月前我還...
    沈念sama閱讀 48,158評(píng)論 3 370
  • 正文 我出身青樓捧书,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親骤星。 傳聞我的和親對(duì)象是個(gè)殘疾皇子经瓷,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,941評(píng)論 2 355

推薦閱讀更多精彩內(nèi)容