Python中Java的InheritableThreadLocal對等實現(xiàn)

背景

后端接收到一個用戶請求后俩由,在請求其他第三方接口時妆档,需要攜帶用戶請求中的trace_id痹愚,以便后續(xù)梳理請求鏈路和定位問題。

原有的代碼基于Python的Django框架開發(fā)器赞,不同的用戶請求之間是線程隔離的,不同用戶請求的trace_id自然也不同墓拜。除此之外港柜,為了便于讀取trace_id所以將其存儲為一個全局變量】劝瘢基于這兩點夏醉,原代碼中采用threading.local()來存儲trace_id。

為了加快請求速度贿衍,需要通過多線程來并發(fā)請求第三方接口(PS:也可以使用協(xié)程授舟,但是原有的接口調(diào)用封裝并不支持異步,改動起來工作量太大)贸辈。但是由于threading.local()本就是線程隔離的释树,所以子線程根本無法拿到父線程(請求線程)的trace_id,然后就會出現(xiàn)報錯:'_thread._local' object has no attribute 'trace_id'擎淤。

在簡單的搜索以后奢啥,發(fā)現(xiàn)Java中自帶InheritableThreadLocal(與ThreadLocal不同,使用InheritableThreadLocal創(chuàng)建的變量的屬性可以被子線程繼承嘴拢,以繼續(xù)使用)桩盲。但是不清楚為什么Python沒有(PS:事實上stackoverflow上面也有提問,但是不知道為什么沒有回答)席吴,所以做了一個簡單的實現(xiàn)赌结。

代碼實現(xiàn)

#!/usr/bin/env python3
# -*- coding: utf-8 -*-

import copy
from _threading_local import local
from weakref import ref

from threading import current_thread, Thread

inheritable_local_list = []


def copy_dict(local_obj, child_thread):
    """copy parent(current) thread local_obj dict for the child thread, and return it."""

    impl = local_obj._local__impl
    localdict = copy.deepcopy(impl.dicts[id(current_thread())][1])
    key = impl.key
    idt = id(child_thread)

    def local_deleted(_, key=key):
        # When the localimpl is deleted, remove the thread attribute.
        thread = wrthread()
        if thread is not None:
            del thread.__dict__[key]

    def thread_deleted(_, idt=idt):
        # When the thread is deleted, remove the local dict.
        # Note that this is suboptimal if the thread object gets
        # caught in a reference loop. We would like to be called
        # as soon as the OS-level thread ends instead.
        local = wrlocal()
        if local is not None:
            dct = local.dicts.pop(idt)

    wrlocal = ref(impl, local_deleted)
    wrthread = ref(child_thread, thread_deleted)
    child_thread.__dict__[key] = wrlocal
    impl.dicts[idt] = wrthread, localdict
    return localdict


class InheritableThread(Thread):
    def __init__(self, *args, **kwargs):
        Thread.__init__(self, *args, **kwargs)
        global inheritable_local_list
        for local_obj in inheritable_local_list:
            copy_dict(local_obj, self)


class InheritableLocal(local):
    """
    Please use InheritableThread to create threads, if you want your son threads can inherit parent threads' local
    """

    def __init__(self):
        global inheritable_local_list
        inheritable_local_list.append(self)

threading.local()的結(jié)構(gòu):

file

使用方法

thread_ctx = InheritableLocal()
t = InheritableThread(target=function, args=(arg1, arg2, arg3))
t.start()
t.join()
  1. 使用InheritableLocal()替代threading.local()來創(chuàng)建一個線程環(huán)境變量,沒有其他副作用
  2. 使用InheritableThread()替代Thread()來創(chuàng)建一個線程孝冒,同樣沒有副作用

然后創(chuàng)建出來的子線程就可以繼承父線程的環(huán)境變量了柬姚,當然兩個線程之間的環(huán)境變量還是相互隔離的,繼承只會發(fā)生在子線程創(chuàng)建時庄涡。

最后編輯于
?著作權歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末量承,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子穴店,更是在濱河造成了極大的恐慌撕捍,老刑警劉巖,帶你破解...
    沈念sama閱讀 218,607評論 6 507
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件泣洞,死亡現(xiàn)場離奇詭異忧风,居然都是意外死亡,警方通過查閱死者的電腦和手機球凰,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,239評論 3 395
  • 文/潘曉璐 我一進店門阀蒂,熙熙樓的掌柜王于貴愁眉苦臉地迎上來该窗,“玉大人,你說我怎么就攤上這事蚤霞。” “怎么了义钉?”我有些...
    開封第一講書人閱讀 164,960評論 0 355
  • 文/不壞的土叔 我叫張陵昧绣,是天一觀的道長。 經(jīng)常有香客問我捶闸,道長夜畴,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,750評論 1 294
  • 正文 為了忘掉前任删壮,我火速辦了婚禮贪绘,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘央碟。我一直安慰自己税灌,他們只是感情好,可當我...
    茶點故事閱讀 67,764評論 6 392
  • 文/花漫 我一把揭開白布亿虽。 她就那樣靜靜地躺著菱涤,像睡著了一般。 火紅的嫁衣襯著肌膚如雪洛勉。 梳的紋絲不亂的頭發(fā)上粘秆,一...
    開封第一講書人閱讀 51,604評論 1 305
  • 那天,我揣著相機與錄音收毫,去河邊找鬼攻走。 笑死,一個胖子當著我的面吹牛此再,可吹牛的內(nèi)容都是我干的昔搂。 我是一名探鬼主播,決...
    沈念sama閱讀 40,347評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼引润,長吁一口氣:“原來是場噩夢啊……” “哼巩趁!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起淳附,我...
    開封第一講書人閱讀 39,253評論 0 276
  • 序言:老撾萬榮一對情侶失蹤议慰,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后奴曙,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體别凹,經(jīng)...
    沈念sama閱讀 45,702評論 1 315
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,893評論 3 336
  • 正文 我和宋清朗相戀三年洽糟,在試婚紗的時候發(fā)現(xiàn)自己被綠了炉菲。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片堕战。...
    茶點故事閱讀 40,015評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖拍霜,靈堂內(nèi)的尸體忽然破棺而出嘱丢,到底是詐尸還是另有隱情,我是刑警寧澤祠饺,帶...
    沈念sama閱讀 35,734評論 5 346
  • 正文 年R本政府宣布越驻,位于F島的核電站,受9級特大地震影響道偷,放射性物質(zhì)發(fā)生泄漏缀旁。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,352評論 3 330
  • 文/蒙蒙 一勺鸦、第九天 我趴在偏房一處隱蔽的房頂上張望并巍。 院中可真熱鬧,春花似錦换途、人聲如沸懊渡。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,934評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽距贷。三九已至,卻和暖如春吻谋,著一層夾襖步出監(jiān)牢的瞬間忠蝗,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,052評論 1 270
  • 我被黑心中介騙來泰國打工漓拾, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留阁最,地道東北人。 一個月前我還...
    沈念sama閱讀 48,216評論 3 371
  • 正文 我出身青樓骇两,卻偏偏與公主長得像速种,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子低千,可洞房花燭夜當晚...
    茶點故事閱讀 44,969評論 2 355

推薦閱讀更多精彩內(nèi)容

  • 在程序運行過程中配阵,總會遇到各種各樣的錯誤。 有的錯誤是程序編寫有問題造成的示血,比如本來應該輸出整數(shù)結(jié)果輸出了字符串棋傍,...
    jbb_43b0閱讀 849評論 0 0
  • 每一個程序的運行都是一個進程,而每個進程至少有一個線程难审,稱之為主線程瘫拣。舉個例子:食堂吃飯是一個進程,為了讓學生更快...
    小梨的十三閱讀 924評論 0 1
  • 高階函數(shù):將函數(shù)作為參數(shù) sortted()它還可以接收一個key函數(shù)來實現(xiàn)自定義的排序,reversec參數(shù)可反...
    royal_47a2閱讀 687評論 0 0
  • 作者:selfboot 在 深入理解Python中的ThreadLocal變量(上) 中我們看到 ThreadLo...
    PyChina閱讀 421評論 0 1
  • 基礎1.r''表示''內(nèi)部的字符串默認不轉(zhuǎn)義2.'''...'''表示多行內(nèi)容3. 布爾值:True告喊、False(...
    neo已經(jīng)被使用閱讀 1,682評論 0 5