flower的使用介紹

celery作為一個分布式異步任務(wù)隊列管理工具凸克,我們需要通過界面化的方式來進行管控任務(wù)的執(zhí)行狀態(tài)和查看任務(wù)執(zhí)行結(jié)果运准,這里介紹的是flower后端管理頁面的內(nèi)容薄霜。

flower的啟動

首先flower作為web頁面來管理celery后臺任務(wù)趣效,和任務(wù)隊列是隔離的员魏,也就是flower的運行與否并不會影響到任務(wù)隊列的真正執(zhí)行,但是flower中可以通過API接口來管理celery中的任務(wù)執(zhí)行录平。

在django工程目錄下面(和manage.py文件在一個層級)麻车,具體的執(zhí)行命令:

python manage.py celery flower --basic_auth=floweradmin:12345 --port=8083

由于本人在django工程中已經(jīng)設(shè)置了 BROKER_URL 所以在上述的flower啟動命令中就沒有再次指定隊列url。

flower界面介紹

本片文章著重進行flower界面的介紹斗这,主要是因為沒有一個完整的文檔來進行介紹动猬,所以下面是詳細介紹flower界面中各個頁面展示的內(nèi)容,并且各個字段的含義表箭。

flower界面

Dashboard

Dashboard 頁面是展示異步任務(wù)隊列的主要情況赁咙,該頁面包括如下幾種狀態(tài)的任務(wù):

  • Active: 表示worker從隊列中獲取到任務(wù),且正在執(zhí)行的任務(wù)數(shù)
  • Processed: 表示worker從隊列中獲取到任務(wù)的總數(shù)據(jù)量
  • Failed: 表示worker從隊列中獲取到任務(wù)免钻,且執(zhí)行失敗了的(異常退出)
  • Successed: 表示worker從隊列中獲取到任務(wù)彼水,且執(zhí)行成功了的
  • Retried: 表示worker從隊列中獲取到任務(wù),因為一些其他原因重新執(zhí)行的數(shù)量

所以极舔,上述這些數(shù)量的關(guān)系如下:
Processed = Active + Received + Failed + Successed + Retried
其中 Received 表示該任務(wù)分配到了worker中凤覆,但是還沒有被處理的任務(wù)數(shù)量

Dashboard頁面

Worker Name 表示的是執(zhí)行celery任務(wù)的worker名稱;
Status 表示的是該worker的狀態(tài)拆魏,包括 Online (在線) 盯桦、 Offline(離線),重啟flower進程渤刃,即可將Offline狀態(tài)的worker剔除掉拥峦;
Active / Processed / Failed / Successed / Retried 分別表示該worker正在執(zhí)行的任務(wù)數(shù)、該worker處理的總?cè)蝿?wù)數(shù)溪掀、處理失敗的任務(wù)數(shù)事镣、處理成功的任務(wù)數(shù)、重試的任務(wù)數(shù)揪胃;
Load Average 表示系統(tǒng)在 1min / 5min / 15min 內(nèi)的CPU平均負載(百分比)

Tasks

Tasks 頁面是展示所有worker接收到的任務(wù)的處理情況璃哟。下面對該表格中的做一些介紹

Tasks頁面
  • Name: 表示該任務(wù)的名稱,默認規(guī)則為該函數(shù)的路徑規(guī)則喊递,例如 {模塊名}.{文件名}.{函數(shù)名}
  • UUID: 表示一個唯一字符串ID用于表示該任務(wù)
  • State: 表示該任務(wù)的狀態(tài)随闪,包括: SUCCESS / FAILURE / STARTED / RECEIVED
    • SUCCESS 表示該任務(wù)執(zhí)行完畢且成功
    • FAILURE 表示該任務(wù)執(zhí)行失敗
    • STARTED 表示該任務(wù)正在執(zhí)行
    • RECEIVED 表示該任務(wù)在worker中,只是被接收而已
  • args: 表示該任務(wù)的列表參數(shù)
  • kwargs: 表示該任務(wù)的字典參數(shù)
  • Result: 表示該任務(wù)函數(shù)的返回結(jié)果
  • Received: 表示該任務(wù)在worker接收到的時間
  • Started: 表示該任務(wù)在worker開始執(zhí)行的時間
  • Runtime: 表示該任務(wù)在worker真正執(zhí)行的耗時(單位:秒)
  • Worker: 表示該任務(wù)所在的worker名稱

Broker

Broker 頁面展示的是celery連接消息隊列的信息骚勘,包括消息隊列的訪問URL铐伴,下面的截圖展示的是鏈接的RabbitMQ撮奏,當然也可以鏈接Redis等。

Broker頁面
  • Name: 表示隊列的名稱
  • Messages: 表示該隊列的消息數(shù)量
  • Unacked: 表示該隊列中還沒收到ack確認的消息數(shù)量(該消息可能處于 RECEIVED 或是 STARTED
  • Ready: 表示該隊列中還未分配到worker的消息數(shù)量
  • Consumers: 表示消費者數(shù)量(即worker數(shù)量)
  • Idle since: 表示該隊列空閑的最初時間当宴,否則為 N/A

Monitor

Monitor 頁面展示的是celery后臺任務(wù)的曲線展示狀況畜吊。

Monitor頁面

寫在最后

上面介紹完了flower管理頁面的使用,下面說一下户矢,在實際使用過程中玲献,由于隊列阻塞,也就是消費者消費速率低于生產(chǎn)者的速率造成的情況梯浪,我們該如何處理捌年。

這個時候我們?yōu)榱丝焖俳鉀Q這個問題,想先盡快清空隊列該如何操作挂洛,重啟worker是解決不了問題礼预,并且worker重啟之后,原先在worker中正在處理的任務(wù)虏劲,由于沒有返回ack給到隊列托酸,這些任務(wù)將會重新放回隊列中,那么重啟worker之后伙单,worker還是依然從隊列中獲取并重新執(zhí)行获高。

像上述截圖中哈肖,我們使用的是RabbitMQ作為消息隊列吻育,那么我們自然可以通過RabbitMQ的命令或者是RabbitMQ-management來操作,但是想像一下淤井,這些后臺都是放在平臺上布疼,我們無法直接訪問操作,該如何去清理币狠,這里提供一下本人通過pika來制作的一個清空隊列的函數(shù)游两,并且可以作為HTTP請求來進行操作,可以設(shè)置最大清空隊列中消息數(shù)量來進行處理漩绵,也可以全部清空贱案。

具體的代碼可以訪問git代碼

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末止吐,一起剝皮案震驚了整個濱河市宝踪,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌碍扔,老刑警劉巖瘩燥,帶你破解...
    沈念sama閱讀 206,968評論 6 482
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異不同,居然都是意外死亡厉膀,警方通過查閱死者的電腦和手機溶耘,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,601評論 2 382
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來服鹅,“玉大人凳兵,你說我怎么就攤上這事∑笕恚” “怎么了留荔?”我有些...
    開封第一講書人閱讀 153,220評論 0 344
  • 文/不壞的土叔 我叫張陵,是天一觀的道長澜倦。 經(jīng)常有香客問我聚蝶,道長,這世上最難降的妖魔是什么藻治? 我笑而不...
    開封第一講書人閱讀 55,416評論 1 279
  • 正文 為了忘掉前任碘勉,我火速辦了婚禮,結(jié)果婚禮上桩卵,老公的妹妹穿的比我還像新娘验靡。我一直安慰自己,他們只是感情好雏节,可當我...
    茶點故事閱讀 64,425評論 5 374
  • 文/花漫 我一把揭開白布胜嗓。 她就那樣靜靜地躺著,像睡著了一般钩乍。 火紅的嫁衣襯著肌膚如雪辞州。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,144評論 1 285
  • 那天寥粹,我揣著相機與錄音变过,去河邊找鬼。 笑死涝涤,一個胖子當著我的面吹牛媚狰,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播阔拳,決...
    沈念sama閱讀 38,432評論 3 401
  • 文/蒼蘭香墨 我猛地睜開眼崭孤,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了糊肠?” 一聲冷哼從身側(cè)響起辨宠,我...
    開封第一講書人閱讀 37,088評論 0 261
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎罪针,沒想到半個月后彭羹,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 43,586評論 1 300
  • 正文 獨居荒郊野嶺守林人離奇死亡泪酱,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,028評論 2 325
  • 正文 我和宋清朗相戀三年派殷,在試婚紗的時候發(fā)現(xiàn)自己被綠了还最。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 38,137評論 1 334
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出阶淘,到底是詐尸還是另有隱情题篷,我是刑警寧澤贰健,帶...
    沈念sama閱讀 33,783評論 4 324
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏枣氧。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 39,343評論 3 307
  • 文/蒙蒙 一垮刹、第九天 我趴在偏房一處隱蔽的房頂上張望达吞。 院中可真熱鬧,春花似錦荒典、人聲如沸酪劫。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,333評論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽覆糟。三九已至,卻和暖如春遮咖,著一層夾襖步出監(jiān)牢的瞬間滩字,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 31,559評論 1 262
  • 我被黑心中介騙來泰國打工盯滚, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留踢械,地道東北人酗电。 一個月前我還...
    沈念sama閱讀 45,595評論 2 355
  • 正文 我出身青樓魄藕,卻偏偏與公主長得像,于是被迫代替她去往敵國和親撵术。 傳聞我的和親對象是個殘疾皇子背率,可洞房花燭夜當晚...
    茶點故事閱讀 42,901評論 2 345

推薦閱讀更多精彩內(nèi)容