django 使用全局線程池

需求背景

系統(tǒng)里面有頻繁的異步操作衰腌,每次觸發(fā)異步操作就會開始一個新的線程處理相關(guān)邏輯贸伐,邏輯集中在I/O密集型勘天;頻繁的新建/銷毀線程,消耗大量資源捉邢;由此脯丝,考慮使用線程池替換現(xiàn)有邏輯。

實(shí)現(xiàn)邏輯

經(jīng)過查詢資料伏伐,python有ThreadPoolExecutor(tomorrow)可以直接實(shí)現(xiàn)線程池的相關(guān)功能宠进,它的使用方式

executor = ThreadPoolExecutor(max_workers=2)

具體使用方法見ThreadPoolExecutor
ThreadPoolExecutor建立的線程池會先啟動若干數(shù)量的線程,并讓這些線程都處于睡眠狀態(tài)藐翎,當(dāng)向線程池submit一個任務(wù)后材蹬,會喚醒線程池中的某一個睡眠線程实幕,讓它來處理這個任務(wù),當(dāng)處理完這個任務(wù)堤器,線程又處于睡眠狀態(tài)昆庇。減少了建立銷毀線程池消耗
在本項(xiàng)目里面的實(shí)現(xiàn)如下(定義的裝飾器)

from concurrent.futures.thread import ThreadPoolExecutor
class ThreadPool(object):
    def __init__(self):
        # 線程池
        self.executor = ThreadPoolExecutor(100)

global_thread_pool = ThreadPool()
def async_func(f):
    def wrapper(*args, **kwargs):
        global_thread_pool.executor.submit(f, *args, **kwargs)
    return wrapper

如何設(shè)置max_workers

總體的原則是: CPU密集型任務(wù)應(yīng)配置盡可能小的線程,盡量跟CPU的個數(shù)相近闸溃;IO密集型任務(wù)應(yīng)配置盡可能多的線程整吆,因?yàn)镮O操作不占用CPU,不要讓CPU閑下來辉川,應(yīng)加大線程數(shù)量掂为。推薦的公式:

最佳線程數(shù)目 = (線程等待時(shí)間與線程CPU時(shí)間之比 + 1)* CPU數(shù)目

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市员串,隨后出現(xiàn)的幾起案子勇哗,更是在濱河造成了極大的恐慌,老刑警劉巖寸齐,帶你破解...
    沈念sama閱讀 221,820評論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件欲诺,死亡現(xiàn)場離奇詭異,居然都是意外死亡渺鹦,警方通過查閱死者的電腦和手機(jī)扰法,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,648評論 3 399
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來毅厚,“玉大人塞颁,你說我怎么就攤上這事∥ⅲ” “怎么了祠锣?”我有些...
    開封第一講書人閱讀 168,324評論 0 360
  • 文/不壞的土叔 我叫張陵,是天一觀的道長咽安。 經(jīng)常有香客問我伴网,道長,這世上最難降的妖魔是什么妆棒? 我笑而不...
    開封第一講書人閱讀 59,714評論 1 297
  • 正文 為了忘掉前任澡腾,我火速辦了婚禮,結(jié)果婚禮上糕珊,老公的妹妹穿的比我還像新娘动分。我一直安慰自己,他們只是感情好红选,可當(dāng)我...
    茶點(diǎn)故事閱讀 68,724評論 6 397
  • 文/花漫 我一把揭開白布澜公。 她就那樣靜靜地躺著,像睡著了一般纠脾。 火紅的嫁衣襯著肌膚如雪玛瘸。 梳的紋絲不亂的頭發(fā)上蜕青,一...
    開封第一講書人閱讀 52,328評論 1 310
  • 那天苟蹈,我揣著相機(jī)與錄音糊渊,去河邊找鬼。 笑死慧脱,一個胖子當(dāng)著我的面吹牛渺绒,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播菱鸥,決...
    沈念sama閱讀 40,897評論 3 421
  • 文/蒼蘭香墨 我猛地睜開眼宗兼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了氮采?” 一聲冷哼從身側(cè)響起殷绍,我...
    開封第一講書人閱讀 39,804評論 0 276
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎鹊漠,沒想到半個月后主到,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 46,345評論 1 318
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡躯概,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,431評論 3 340
  • 正文 我和宋清朗相戀三年登钥,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片娶靡。...
    茶點(diǎn)故事閱讀 40,561評論 1 352
  • 序言:一個原本活蹦亂跳的男人離奇死亡牧牢,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出姿锭,到底是詐尸還是另有隱情塔鳍,我是刑警寧澤,帶...
    沈念sama閱讀 36,238評論 5 350
  • 正文 年R本政府宣布呻此,位于F島的核電站献幔,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏趾诗。R本人自食惡果不足惜蜡感,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,928評論 3 334
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望恃泪。 院中可真熱鬧郑兴,春花似錦、人聲如沸贝乎。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,417評論 0 24
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽览效。三九已至却舀,卻和暖如春虫几,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背挽拔。 一陣腳步聲響...
    開封第一講書人閱讀 33,528評論 1 272
  • 我被黑心中介騙來泰國打工辆脸, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人螃诅。 一個月前我還...
    沈念sama閱讀 48,983評論 3 376
  • 正文 我出身青樓啡氢,卻偏偏與公主長得像,于是被迫代替她去往敵國和親术裸。 傳聞我的和親對象是個殘疾皇子倘是,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,573評論 2 359

推薦閱讀更多精彩內(nèi)容

  • 個人記錄,麻煩指正袭艺! 線程池的前世今生 ??答:Java1.5中引入的Executor框架把任務(wù)的提交和執(zhí)行進(jìn)行解...
    沈先生的影子閱讀 424評論 0 1
  • 1 線程池簡介 1.1 為什么使用線程池 降低系統(tǒng)資源消耗搀崭,通過重用已存在的線程,降低線程創(chuàng)建和銷毀造成的消耗猾编; ...
    上善若淚閱讀 1,470評論 0 1
  • [TOC] 什么是線程池 在 Java 中,如果每個請求到達(dá)就創(chuàng)建一個新線程,創(chuàng)建和銷毀線程花費(fèi)的時(shí)間和消耗的系統(tǒng)...
    悠娜的奶爸閱讀 195評論 0 1
  • 使用線程池的原因 無線創(chuàng)建線程的不足在生產(chǎn)環(huán)境中瘤睹,為每一個任務(wù)都分配一個線程這種方法存在一些缺陷:線程生命周期的開...
    德彪閱讀 666評論 0 1
  • 一. 簡介 在實(shí)際開發(fā)中,我們有時(shí)會需要多線程并發(fā)執(zhí)行一些任務(wù)袍镀,如果并發(fā)的線程數(shù)量很多默蚌,并且每個線程都是執(zhí)行一個時(shí)...
    wind_sky閱讀 1,173評論 0 0