SpringBoot+MDC實(shí)現(xiàn)全鏈路調(diào)用日志跟蹤

在前面寫的一篇文章中,熱心網(wǎng)友【地藏Kelvin】評(píng)論說在多線程中還是有可能會(huì)亂掉夺姑,建議通過MDC打印traceId來個(gè)全鏈路調(diào)用跟蹤。掘金里個(gè)個(gè)都是人才掌猛,說話又好聽盏浙,超喜歡在里面。掘金使我進(jìn)步荔茬,熱心網(wǎng)友總能提出改進(jìn)意見

寫在前面

通過本文將了解到什么是MDC废膘、MDC應(yīng)用中存在的問題、如何解決存在的問題

MDC介紹

簡介:

MDC(Mapped Diagnostic Context慕蔚,映射調(diào)試上下文)是 log4j 丐黄、logback及l(fā)og4j2 提供的一種方便在多線程條件下記錄日志的功能。MDC 可以看成是一個(gè)與當(dāng)前線程綁定的哈希表坊萝,可以往其中添加鍵值對(duì)孵稽。MDC 中包含的內(nèi)容可以被同一線程中執(zhí)行的代碼所訪問。當(dāng)前線程的子線程會(huì)繼承其父線程中的 MDC 的內(nèi)容十偶。當(dāng)需要記錄日志時(shí)菩鲜,只需要從 MDC 中獲取所需的信息即可。MDC 的內(nèi)容則由程序在適當(dāng)?shù)臅r(shí)候保存進(jìn)去惦积。對(duì)于一個(gè) Web 應(yīng)用來說接校,通常是在請求被處理的最開始保存這些數(shù)據(jù)

API說明:
  • clear() => 移除所有MDC
  • get (String key) => 獲取當(dāng)前線程MDC中指定key的值
  • getContext() => 獲取當(dāng)前線程MDC的MDC
  • put(String key, Object o) => 往當(dāng)前線程的MDC中存入指定的鍵值對(duì)
  • remove(String key) => 刪除當(dāng)前線程MDC中指定的鍵值對(duì)
優(yōu)點(diǎn):
  • 代碼簡潔,日志風(fēng)格統(tǒng)一,不需要在log打印中手動(dòng)拼寫traceId蛛勉,即LOGGER.info("traceId:{} ", traceId)

暫時(shí)只能想到這一點(diǎn)

MDC使用

  • 添加攔截器

    public class LogInterceptor implements HandlerInterceptor {
        @Override
        public boolean preHandle(HttpServletRequest request, HttpServletResponse response, Object handler) throws Exception {
            //如果有上層調(diào)用就用上層的ID
            String traceId = request.getHeader(Constants.TRACE_ID);
            if (traceId == null) {
                traceId = TraceIdUtil.getTraceId();
            }
    
            MDC.put(Constants.TRACE_ID, traceId);
            return true;
        }
    
        @Override
        public void postHandle(HttpServletRequest request, HttpServletResponse response, Object handler, ModelAndView modelAndView)
                throws Exception {
        }
    
        @Override
        public void afterCompletion(HttpServletRequest request, HttpServletResponse response, Object handler, Exception ex)
                throws Exception {
            //調(diào)用結(jié)束后刪除
            MDC.remove(Constants.TRACE_ID);
        }
    }
    
  • 修改日志格式

    <property name="pattern">[TRACEID:%X{traceId}] %d{HH:mm:ss.SSS} %-5level %class{-1}.%M()/%L - %msg%xEx%n</property>
    

    重點(diǎn)是%X{traceId}鹿寻,traceId和MDC中的鍵名稱一致
    簡單使用就這么容易,但是在有些情況下traceId將獲取不到

MDC 存在的問題

  • 子線程中打印日志丟失traceId
  • HTTP調(diào)用丟失traceId

解決MDC存在的問題

子線程日志打印丟失traceId

子線程在打印日志的過程中traceId將丟失诽凌,解決方式為重寫線程池毡熏,對(duì)于直接new創(chuàng)建線程的情況不考略【實(shí)際應(yīng)用中應(yīng)該避免這種用法】,重寫線程池?zé)o非是對(duì)任務(wù)進(jìn)行一次封裝

  • 線程池封裝類:ThreadPoolExecutorMdcWrapper.java

    public class ThreadPoolExecutorMdcWrapper extends ThreadPoolExecutor {
        public ThreadPoolExecutorMdcWrapper(int corePoolSize, int maximumPoolSize, long keepAliveTime, TimeUnit unit,
                                            BlockingQueue<Runnable> workQueue) {
            super(corePoolSize, maximumPoolSize, keepAliveTime, unit, workQueue);
        }
    
        public ThreadPoolExecutorMdcWrapper(int corePoolSize, int maximumPoolSize, long keepAliveTime, TimeUnit unit,
                                            BlockingQueue<Runnable> workQueue, ThreadFactory threadFactory) {
            super(corePoolSize, maximumPoolSize, keepAliveTime, unit, workQueue, threadFactory);
        }
    
        public ThreadPoolExecutorMdcWrapper(int corePoolSize, int maximumPoolSize, long keepAliveTime, TimeUnit unit,
                                            BlockingQueue<Runnable> workQueue, RejectedExecutionHandler handler) {
            super(corePoolSize, maximumPoolSize, keepAliveTime, unit, workQueue, handler);
        }
    
        public ThreadPoolExecutorMdcWrapper(int corePoolSize, int maximumPoolSize, long keepAliveTime, TimeUnit unit,
                                            BlockingQueue<Runnable> workQueue, ThreadFactory threadFactory,
                                            RejectedExecutionHandler handler) {
            super(corePoolSize, maximumPoolSize, keepAliveTime, unit, workQueue, threadFactory, handler);
        }
    
        @Override
        public void execute(Runnable task) {
            super.execute(ThreadMdcUtil.wrap(task, MDC.getCopyOfContextMap()));
        }
    
        @Override
        public <T> Future<T> submit(Runnable task, T result) {
            return super.submit(ThreadMdcUtil.wrap(task, MDC.getCopyOfContextMap()), result);
        }
    
        @Override
        public <T> Future<T> submit(Callable<T> task) {
            return super.submit(ThreadMdcUtil.wrap(task, MDC.getCopyOfContextMap()));
        }
    
        @Override
        public Future<?> submit(Runnable task) {
            return super.submit(ThreadMdcUtil.wrap(task, MDC.getCopyOfContextMap()));
        }
    }
    

    說明:

    • 繼承ThreadPoolExecutor類侣诵,重新執(zhí)行任務(wù)的方法
    • 通過ThreadMdcUtil對(duì)任務(wù)進(jìn)行一次包裝
  • 線程traceId封裝工具類:ThreadMdcUtil.java

    public class ThreadMdcUtil {
        public static void setTraceIdIfAbsent() {
            if (MDC.get(Constants.TRACE_ID) == null) {
                MDC.put(Constants.TRACE_ID, TraceIdUtil.getTraceId());
            }
        }
    
        public static <T> Callable<T> wrap(final Callable<T> callable, final Map<String, String> context) {
            return () -> {
                if (context == null) {
                    MDC.clear();
                } else {
                    MDC.setContextMap(context);
                }
                setTraceIdIfAbsent();
                try {
                    return callable.call();
                } finally {
                    MDC.clear();
                }
            };
        }
    
        public static Runnable wrap(final Runnable runnable, final Map<String, String> context) {
            return () -> {
                if (context == null) {
                    MDC.clear();
                } else {
                    MDC.setContextMap(context);
                }
                setTraceIdIfAbsent();
                try {
                    runnable.run();
                } finally {
                    MDC.clear();
                }
            };
        }
    }
    

    說明【以封裝Runnable為例】:

    • 判斷當(dāng)前線程對(duì)應(yīng)MDC的Map是否存在痢法,存在則設(shè)置
    • 設(shè)置MDC中的traceId值,不存在則新生成杜顺,針對(duì)不是子線程的情況财搁,如果是子線程,MDC中traceId不為null
    • 執(zhí)行run方法

    代碼等同于以下寫法躬络,會(huì)更直觀

    public static Runnable wrap(final Runnable runnable, final Map<String, String> context) {
            return new Runnable() {
                @Override
                public void run() {
                    if (context == null) {
                        MDC.clear();
                    } else {
                        MDC.setContextMap(context);
                    }
                    setTraceIdIfAbsent();
                    try {
                        runnable.run();
                    } finally {
                        MDC.clear();
                    }
                }
            };
        }
    

    重新返回的是包裝后的Runnable尖奔,在該任務(wù)執(zhí)行之前【runnable.run()】先將主線程的Map設(shè)置到當(dāng)前線程中【 即MDC.setContextMap(context)】,這樣子線程和主線程MDC對(duì)應(yīng)的Map就是一樣的了

HTTP調(diào)用丟失traceId

在使用HTTP調(diào)用第三方服務(wù)接口時(shí)traceId將丟失穷当,需要對(duì)HTTP調(diào)用工具進(jìn)行改造提茁,在發(fā)送時(shí)在request header中添加traceId,在下層被調(diào)用方添加攔截器獲取header中的traceId添加到MDC中

HTTP調(diào)用有多種方式膘滨,比較常見的有HttpClient甘凭、OKHttp、RestTemplate火邓,所以只給出這幾種HTTP調(diào)用的解決方式

HttpClient:

  • 實(shí)現(xiàn)HttpClient攔截器
public class HttpClientTraceIdInterceptor implements HttpRequestInterceptor {
    @Override
    public void process(HttpRequest httpRequest, HttpContext httpContext) throws HttpException, IOException {
        String traceId = MDC.get(Constants.TRACE_ID);
        //當(dāng)前線程調(diào)用中有traceId丹弱,則將該traceId進(jìn)行透傳
        if (traceId != null) {
            //添加請求體
            httpRequest.addHeader(Constants.TRACE_ID, traceId);
        }
    }
}

? 實(shí)現(xiàn)HttpRequestInterceptor接口并重寫process方法

? 如果調(diào)用線程中含有traceId,則需要將獲取到的traceId通過request中的header向下透傳下去

  • 為HttpClient添加攔截器

    private static CloseableHttpClient httpClient = HttpClientBuilder.create()
                .addInterceptorFirst(new HttpClientTraceIdInterceptor())
                .build();
    

    通過addInterceptorFirst方法為HttpClient添加攔截器

OKHttp:

  • 實(shí)現(xiàn)OKHttp攔截器

    public class OkHttpTraceIdInterceptor implements Interceptor {
        @Override
        public Response intercept(Chain chain) throws IOException {
            String traceId = MDC.get(Constants.TRACE_ID);
            Request request = null;
            if (traceId != null) {
                //添加請求體
                request = chain.request().newBuilder().addHeader(Constants.TRACE_ID, traceId).build();
            }
            Response originResponse = chain.proceed(request);
    
            return originResponse;
        }
    }
    

    實(shí)現(xiàn)Interceptor攔截器铲咨,重寫interceptor方法躲胳,實(shí)現(xiàn)邏輯和HttpClient差不多,如果能夠獲取到當(dāng)前線程的traceId則向下透傳

  • 為OkHttp添加攔截器

      private static OkHttpClient client = new OkHttpClient.Builder()
                .addNetworkInterceptor(new OkHttpTraceIdInterceptor())
                .build();
    

    調(diào)用addNetworkInterceptor方法添加攔截器

RestTemplate:

  • 實(shí)現(xiàn)RestTemplate攔截器

    public class RestTemplateTraceIdInterceptor implements ClientHttpRequestInterceptor {
        @Override
        public ClientHttpResponse intercept(HttpRequest httpRequest, byte[] bytes, ClientHttpRequestExecution clientHttpRequestExecution) throws IOException {
            String traceId = MDC.get(Constants.TRACE_ID);
            if (traceId != null) {
                httpRequest.getHeaders().add(Constants.TRACE_ID, traceId);
            }
    
            return clientHttpRequestExecution.execute(httpRequest, bytes);
        }
    }
    

    實(shí)現(xiàn)ClientHttpRequestInterceptor接口纤勒,并重寫intercept方法坯苹,其余邏輯都是一樣的不重復(fù)說明

  • 為RestTemplate添加攔截器

    restTemplate.setInterceptors(Arrays.asList(new RestTemplateTraceIdInterceptor()));
    

    調(diào)用setInterceptors方法添加攔截器

第三方服務(wù)攔截器:

HTTP調(diào)用第三方服務(wù)接口全流程traceId需要第三方服務(wù)配合,第三方服務(wù)需要添加攔截器拿到request header中的traceId并添加到MDC中

public class LogInterceptor implements HandlerInterceptor {
    @Override
    public boolean preHandle(HttpServletRequest request, HttpServletResponse response, Object handler) throws Exception {
        //如果有上層調(diào)用就用上層的ID
        String traceId = request.getHeader(Constants.TRACE_ID);
        if (traceId == null) {
            traceId = TraceIdUtils.getTraceId();
        }
        
        MDC.put("traceId", traceId);
        return true;
    }

    @Override
    public void postHandle(HttpServletRequest request, HttpServletResponse response, Object handler, ModelAndView modelAndView)
            throws Exception {
    }

    @Override
    public void afterCompletion(HttpServletRequest request, HttpServletResponse response, Object handler, Exception ex)
            throws Exception {
        MDC.remove(Constants.TRACE_ID);
    }
}

說明:

  • 先從request header中獲取traceId
  • 從request header中獲取不到traceId則說明不是第三方調(diào)用摇天,直接生成一個(gè)新的traceId
  • 將生成的traceId存入MDC中

除了需要添加攔截器之外粹湃,還需要在日志格式中添加traceId的打印,如下:

 <property name="pattern">[TRACEID:%X{traceId}] %d{HH:mm:ss.SSS} %-5level %class{-1}.%M()/%L - %msg%xEx%n</property>

需要添加%X{traceId}

最后附:項(xiàng)目代碼泉坐,歡迎forkstar为鳄,漲點(diǎn)小星星,卑微乞討

往期文章推薦

1.寫個(gè)日志請求切面腕让,前后端甩鍋更方便
2.為什么阿里巴巴要禁用Executors創(chuàng)建線程池孤钦?

參考文章:
1.在Java項(xiàng)目中使用traceId跟蹤請求全流程日志
2.MDC介紹 -- 一種多線程下日志管理實(shí)踐方式

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子偏形,更是在濱河造成了極大的恐慌静袖,老刑警劉巖,帶你破解...
    沈念sama閱讀 219,270評(píng)論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件俊扭,死亡現(xiàn)場離奇詭異队橙,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)萨惑,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,489評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門喘帚,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人咒钟,你說我怎么就攤上這事∪粑矗” “怎么了朱嘴?”我有些...
    開封第一講書人閱讀 165,630評(píng)論 0 356
  • 文/不壞的土叔 我叫張陵,是天一觀的道長粗合。 經(jīng)常有香客問我萍嬉,道長,這世上最難降的妖魔是什么隙疚? 我笑而不...
    開封第一講書人閱讀 58,906評(píng)論 1 295
  • 正文 為了忘掉前任壤追,我火速辦了婚禮,結(jié)果婚禮上供屉,老公的妹妹穿的比我還像新娘行冰。我一直安慰自己,他們只是感情好伶丐,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,928評(píng)論 6 392
  • 文/花漫 我一把揭開白布悼做。 她就那樣靜靜地躺著,像睡著了一般哗魂。 火紅的嫁衣襯著肌膚如雪肛走。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,718評(píng)論 1 305
  • 那天录别,我揣著相機(jī)與錄音朽色,去河邊找鬼。 笑死组题,一個(gè)胖子當(dāng)著我的面吹牛葫男,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播往踢,決...
    沈念sama閱讀 40,442評(píng)論 3 420
  • 文/蒼蘭香墨 我猛地睜開眼腾誉,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起利职,我...
    開封第一講書人閱讀 39,345評(píng)論 0 276
  • 序言:老撾萬榮一對(duì)情侶失蹤趣效,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后猪贪,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體跷敬,經(jīng)...
    沈念sama閱讀 45,802評(píng)論 1 317
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,984評(píng)論 3 337
  • 正文 我和宋清朗相戀三年热押,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了西傀。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 40,117評(píng)論 1 351
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡桶癣,死狀恐怖拥褂,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情牙寞,我是刑警寧澤饺鹃,帶...
    沈念sama閱讀 35,810評(píng)論 5 346
  • 正文 年R本政府宣布,位于F島的核電站间雀,受9級(jí)特大地震影響悔详,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜惹挟,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,462評(píng)論 3 331
  • 文/蒙蒙 一茄螃、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧连锯,春花似錦归苍、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,011評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至驳规,卻和暖如春肴敛,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背吗购。 一陣腳步聲響...
    開封第一講書人閱讀 33,139評(píng)論 1 272
  • 我被黑心中介騙來泰國打工医男, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人捻勉。 一個(gè)月前我還...
    沈念sama閱讀 48,377評(píng)論 3 373
  • 正文 我出身青樓镀梭,卻偏偏與公主長得像,于是被迫代替她去往敵國和親踱启。 傳聞我的和親對(duì)象是個(gè)殘疾皇子报账,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,060評(píng)論 2 355

推薦閱讀更多精彩內(nèi)容