celery作為一個分布式異步任務(wù)隊列管理工具凸克,我們需要通過界面化的方式來進行管控任務(wù)的執(zhí)行狀態(tài)和查看任務(wù)執(zhí)行結(jié)果运准,這里介紹的是flower后端管理頁面的內(nèi)容薄霜。
flower的啟動
首先flower作為web頁面來管理celery后臺任務(wù)趣效,和任務(wù)隊列是隔離的员魏,也就是flower的運行與否并不會影響到任務(wù)隊列的真正執(zhí)行,但是flower中可以通過API接口來管理celery中的任務(wù)執(zhí)行录平。
在django工程目錄下面(和manage.py文件在一個層級)麻车,具體的執(zhí)行命令:
python manage.py celery flower --basic_auth=floweradmin:12345 --port=8083
由于本人在django工程中已經(jīng)設(shè)置了 BROKER_URL
所以在上述的flower啟動命令中就沒有再次指定隊列url。
flower界面介紹
本片文章著重進行flower界面的介紹斗这,主要是因為沒有一個完整的文檔來進行介紹动猬,所以下面是詳細介紹flower界面中各個頁面展示的內(nèi)容,并且各個字段的含義表箭。
Dashboard
Dashboard 頁面是展示異步任務(wù)隊列的主要情況赁咙,該頁面包括如下幾種狀態(tài)的任務(wù):
- Active: 表示worker從隊列中獲取到任務(wù),且正在執(zhí)行的任務(wù)數(shù)
- Processed: 表示worker從隊列中獲取到任務(wù)的總數(shù)據(jù)量
- Failed: 表示worker從隊列中獲取到任務(wù)免钻,且執(zhí)行失敗了的(異常退出)
- Successed: 表示worker從隊列中獲取到任務(wù)彼水,且執(zhí)行成功了的
- Retried: 表示worker從隊列中獲取到任務(wù),因為一些其他原因重新執(zhí)行的數(shù)量
所以极舔,上述這些數(shù)量的關(guān)系如下:
Processed = Active + Received + Failed + Successed + Retried
其中 Received 表示該任務(wù)分配到了worker中凤覆,但是還沒有被處理的任務(wù)數(shù)量
Worker Name 表示的是執(zhí)行celery任務(wù)的worker名稱;
Status 表示的是該worker的狀態(tài)拆魏,包括 Online (在線) 盯桦、 Offline(離線),重啟flower進程渤刃,即可將Offline狀態(tài)的worker剔除掉拥峦;
Active / Processed / Failed / Successed / Retried 分別表示該worker正在執(zhí)行的任務(wù)數(shù)、該worker處理的總?cè)蝿?wù)數(shù)溪掀、處理失敗的任務(wù)數(shù)事镣、處理成功的任務(wù)數(shù)、重試的任務(wù)數(shù)揪胃;
Load Average 表示系統(tǒng)在 1min / 5min / 15min 內(nèi)的CPU平均負載(百分比)
Tasks
Tasks 頁面是展示所有worker接收到的任務(wù)的處理情況璃哟。下面對該表格中的做一些介紹
- Name: 表示該任務(wù)的名稱,默認規(guī)則為該函數(shù)的路徑規(guī)則喊递,例如
{模塊名}.{文件名}.{函數(shù)名}
- UUID: 表示一個唯一字符串ID用于表示該任務(wù)
- State: 表示該任務(wù)的狀態(tài)随闪,包括: SUCCESS / FAILURE / STARTED / RECEIVED
- SUCCESS 表示該任務(wù)執(zhí)行完畢且成功
- FAILURE 表示該任務(wù)執(zhí)行失敗
- STARTED 表示該任務(wù)正在執(zhí)行
- RECEIVED 表示該任務(wù)在worker中,只是被接收而已
- args: 表示該任務(wù)的列表參數(shù)
- kwargs: 表示該任務(wù)的字典參數(shù)
- Result: 表示該任務(wù)函數(shù)的返回結(jié)果
- Received: 表示該任務(wù)在worker接收到的時間
- Started: 表示該任務(wù)在worker開始執(zhí)行的時間
- Runtime: 表示該任務(wù)在worker真正執(zhí)行的耗時(單位:秒)
- Worker: 表示該任務(wù)所在的worker名稱
Broker
Broker 頁面展示的是celery連接消息隊列的信息骚勘,包括消息隊列的訪問URL铐伴,下面的截圖展示的是鏈接的RabbitMQ撮奏,當然也可以鏈接Redis等。
- Name: 表示隊列的名稱
- Messages: 表示該隊列的消息數(shù)量
- Unacked: 表示該隊列中還沒收到ack確認的消息數(shù)量(該消息可能處于 RECEIVED 或是 STARTED)
- Ready: 表示該隊列中還未分配到worker的消息數(shù)量
- Consumers: 表示消費者數(shù)量(即worker數(shù)量)
- Idle since: 表示該隊列空閑的最初時間当宴,否則為 N/A
Monitor
Monitor 頁面展示的是celery后臺任務(wù)的曲線展示狀況畜吊。
寫在最后
上面介紹完了flower管理頁面的使用,下面說一下户矢,在實際使用過程中玲献,由于隊列阻塞,也就是消費者消費速率低于生產(chǎn)者的速率造成的情況梯浪,我們該如何處理捌年。
這個時候我們?yōu)榱丝焖俳鉀Q這個問題,想先盡快清空隊列該如何操作挂洛,重啟worker是解決不了問題礼预,并且worker重啟之后,原先在worker中正在處理的任務(wù)虏劲,由于沒有返回ack給到隊列托酸,這些任務(wù)將會重新放回隊列中,那么重啟worker之后伙单,worker還是依然從隊列中獲取并重新執(zhí)行获高。
像上述截圖中哈肖,我們使用的是RabbitMQ作為消息隊列吻育,那么我們自然可以通過RabbitMQ的命令或者是RabbitMQ-management來操作,但是想像一下淤井,這些后臺都是放在平臺上布疼,我們無法直接訪問操作,該如何去清理币狠,這里提供一下本人通過pika來制作的一個清空隊列的函數(shù)游两,并且可以作為HTTP請求來進行操作,可以設(shè)置最大清空隊列中消息數(shù)量來進行處理漩绵,也可以全部清空贱案。
具體的代碼可以訪問git代碼。