Celery

Celery 是 Distributed Task Queue 分布式任務(wù)隊(duì)列碗淌。

不太理解異步任務(wù)隊(duì)列脚草,看到有人說:

分布式異步任務(wù)隊(duì)列的作用就是把 python 代碼放到不同的環(huán)境上面去跑竿奏, 核心難題就是如何序列化和反序列化函數(shù)裂逐, 函數(shù)都有復(fù)雜的依賴關(guān)系追逮,調(diào)用系統(tǒng)函數(shù)霜威,或者用戶自定義函數(shù)谈喳, 這些依賴都要一起序列化傳輸。暫時(shí)先這么理解

Celery 基本工作就是管理分配任務(wù)到不同的服務(wù)器上戈泼,并且取得相應(yīng)的結(jié)果婿禽,至于服務(wù)器之間是如何通信的,Celery 并不能解決這個(gè)問題大猛。

Celery 分為三部分:消息中間件 broker扭倾,任務(wù)執(zhí)行單元 worker 和 任務(wù)結(jié)果存儲。

broker:消息傳輸?shù)闹虚g件挽绩。每當(dāng)應(yīng)用程序調(diào)用 celery 的異步任務(wù)時(shí)膛壹,會向 broker 傳遞消息。然后 worker 會取到消息唉堪。就是一個(gè)消息隊(duì)列模聋。broker 選擇方案:RabbitMQ,Redis
backend:存儲消息以及 celery 執(zhí)行的一些消息和結(jié)果唠亚。有數(shù)據(jù)庫和 redis 可選链方。


來源于網(wǎng)絡(luò),侵權(quán)請告知

異步任務(wù)和定時(shí)任務(wù)

直接 pip install celery 即可安裝灶搜。
一般目錄格式:

project/__init__.py
       /celery.py
       /tasks.py
# project.celery.py
from __future__ import absolute_import, unicode_literals
from celery import Celery
 
app = Celery('proj',
             broker='redis://',
             backend='redis://',
             include=['project.tasks'])
 
# Optional configuration, see the application user guide.
app.conf.update(
    result_expires=3600,
)
if __name__ == '__main__':
    app.start()
# project/tasks.py
from __future__ import absolute_import, unicode_literals
from .celery import app

@app.task
def add(x, y):
    return x + y

celery 啟動 worker
celery -A 項(xiàng)目名稱 worker -l info/debug
配置多個(gè) worker
celery multi start w1 -A poject -l info
celery 啟動定時(shí)任務(wù) beat
celery -A 項(xiàng)目名稱.任務(wù)文件 beat -l info/debug
Django 結(jié)合 celery祟蚀,可以使用 pip install django-celery

注:在 CentOs 中工窍,我的 Python3 環(huán)境是編譯源代碼安裝的,在 pip3 install celery 之后前酿,bash 總說找不到命令 celery患雏。但是 Python2 環(huán)境下可以安裝成功。很迷薪者。纵苛。。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末言津,一起剝皮案震驚了整個(gè)濱河市攻人,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌悬槽,老刑警劉巖怀吻,帶你破解...
    沈念sama閱讀 221,273評論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異初婆,居然都是意外死亡蓬坡,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,349評論 3 398
  • 文/潘曉璐 我一進(jìn)店門磅叛,熙熙樓的掌柜王于貴愁眉苦臉地迎上來屑咳,“玉大人,你說我怎么就攤上這事弊琴≌琢” “怎么了?”我有些...
    開封第一講書人閱讀 167,709評論 0 360
  • 文/不壞的土叔 我叫張陵敲董,是天一觀的道長紫皇。 經(jīng)常有香客問我,道長腋寨,這世上最難降的妖魔是什么聪铺? 我笑而不...
    開封第一講書人閱讀 59,520評論 1 296
  • 正文 為了忘掉前任,我火速辦了婚禮萄窜,結(jié)果婚禮上铃剔,老公的妹妹穿的比我還像新娘。我一直安慰自己查刻,他們只是感情好键兜,可當(dāng)我...
    茶點(diǎn)故事閱讀 68,515評論 6 397
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著赖阻,像睡著了一般蝶押。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上火欧,一...
    開封第一講書人閱讀 52,158評論 1 308
  • 那天棋电,我揣著相機(jī)與錄音茎截,去河邊找鬼。 笑死赶盔,一個(gè)胖子當(dāng)著我的面吹牛企锌,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播于未,決...
    沈念sama閱讀 40,755評論 3 421
  • 文/蒼蘭香墨 我猛地睜開眼撕攒,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了烘浦?” 一聲冷哼從身側(cè)響起抖坪,我...
    開封第一講書人閱讀 39,660評論 0 276
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎闷叉,沒想到半個(gè)月后擦俐,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 46,203評論 1 319
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡握侧,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,287評論 3 340
  • 正文 我和宋清朗相戀三年蚯瞧,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片品擎。...
    茶點(diǎn)故事閱讀 40,427評論 1 352
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡埋合,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出萄传,到底是詐尸還是另有隱情甚颂,我是刑警寧澤,帶...
    沈念sama閱讀 36,122評論 5 349
  • 正文 年R本政府宣布盲再,位于F島的核電站西设,受9級特大地震影響瓣铣,放射性物質(zhì)發(fā)生泄漏酱固。R本人自食惡果不足惜沉删,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,801評論 3 333
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧就缆,春花似錦、人聲如沸竭贩。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,272評論 0 23
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽循捺。三九已至斩例,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間从橘,已是汗流浹背念赶。 一陣腳步聲響...
    開封第一講書人閱讀 33,393評論 1 272
  • 我被黑心中介騙來泰國打工础钠, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人叉谜。 一個(gè)月前我還...
    沈念sama閱讀 48,808評論 3 376
  • 正文 我出身青樓旗吁,卻偏偏與公主長得像,于是被迫代替她去往敵國和親停局。 傳聞我的和親對象是個(gè)殘疾皇子很钓,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,440評論 2 359