RPC之美團(tuán)pigeon源碼分析(二)端口綁定和消息處理

上篇我們了解到服務(wù)啟動(dòng)過程中,ProviderBootStrap.init()和ProviderBootStrap.startup(providerConfig);分別啟動(dòng)http協(xié)議服務(wù)和default(TCP)協(xié)議的netty服務(wù)。本篇我們分析下端口監(jiān)聽和消息處理。

我們以ProviderBootStrap.startup(providerConfig)來切入TCP協(xié)議NettyServer實(shí)現(xiàn)砌创。
關(guān)鍵代碼如下:

    public static ServerConfig startup(ProviderConfig<?> providerConfig) {
            ServerConfig serverConfig = providerConfig.getServerConfig();
            synchronized (ProviderBootStrap.class) {
                //Server接口兩個(gè)實(shí)現(xiàn):NettyServer和JettyHttpServer
                List<Server> servers = ExtensionLoader.newExtensionList(Server.class);
                for (Server s : servers) {
                    if (!s.isStarted()) {
                        //NettyServer實(shí)現(xiàn)支持default協(xié)議
                        if (s.support(serverConfig)) {
                            //調(diào)用AbstractServer.start
                            s.start(serverConfig);
                            s.addService(providerConfig);
                            serversMap.put(s.getProtocol() + serverConfig.getPort(), s);
                            logger.warn("pigeon " + s + "[version:" + VersionUtils.VERSION + "] has been started");
                            break;
                        }
                    }
                }
                server = serversMap.get(serverConfig.getProtocol() + serverConfig.getPort());
                if (server != null) {
                    //預(yù)啟動(dòng)請(qǐng)求處理線程池,ThreadPoolExcutor.prestartAllCoreThreads()
                    server.getRequestProcessor().getRequestProcessThreadPool().prestartAllCoreThreads();
                    return server.getServerConfig();
                }
                return null;
            }
     }

跟進(jìn)AbstractServer.start

    public void start(ServerConfig serverConfig) {
                //請(qǐng)求處理線程池RequestThreadPoolProcessor
        requestProcessor = RequestProcessorFactory.selectProcessor();
                //調(diào)用NettyServer.doStart
        doStart(serverConfig);
        if (requestProcessor != null) {
                        //根據(jù)上篇ServerConfig的線程池參數(shù)配置創(chuàng)建DynamicThreadPool線程池
                        //底層實(shí)現(xiàn)為new ThreadPoolExecutor(...)
            requestProcessor.start(serverConfig);
        }
        this.serverConfig = serverConfig;
    }

接下來我們看下NettyServer實(shí)現(xiàn)鲫懒。
該pigeon版本基于Netty3.9.2.Final嫩实,本篇不對(duì)netty服務(wù)做詳細(xì)說明,感興趣的朋友可以閱讀下netty系列文章窥岩。

    public NettyServer() {
        this.bootstrap = new ServerBootstrap(channelFactory);
        this.bootstrap.setPipelineFactory(new NettyServerPipelineFactory(this));
        this.bootstrap.setOption("child.tcpNoDelay", true);
        this.bootstrap.setOption("child.keepAlive", true);
        this.bootstrap.setOption("child.reuseAddress", true);
        this.bootstrap.setOption("child.connectTimeoutMillis", 1000);
    }

    @Override
    public void doStart(ServerConfig serverConfig) {
        if (!started) {
            if (serverConfig.isAutoSelectPort()) {
                int availablePort = getAvailablePort(serverConfig.getPort());
                this.port = availablePort;
            } 
            InetSocketAddress address = null;
            if (this.ip == null) {
                address = new InetSocketAddress(this.port);
            } else {
                address = new InetSocketAddress(this.ip, this.port);
            }
            channel = this.bootstrap.bind(address);
            serverConfig.setActualPort(this.port);
            this.started = true;
        }
    }
    //在NettyServerPipelineFactory中定義了一些列消息處理器
    public ChannelPipeline getPipeline() {
        ChannelPipeline pipeline = pipeline();
        pipeline.addLast("framePrepender", new FramePrepender());
        pipeline.addLast("frameDecoder", new FrameDecoder());
        pipeline.addLast("crc32Handler", new Crc32Handler(codecConfig));
        pipeline.addLast("compressHandler", new CompressHandler(codecConfig));
        pipeline.addLast("providerDecoder", new ProviderDecoder());
        pipeline.addLast("providerEncoder", new ProviderEncoder());
        //NettyServerHandler處理器中處理InvocationRequest
        pipeline.addLast("serverHandler", new NettyServerHandler(server));
        return pipeline;
    }

因?yàn)楸酒谟诮榻B消息處理甲献,我們重點(diǎn)看最后一個(gè)處理器NettyServerHandler,跟蹤代碼如下:

    //NettyServerHandler.messageReceived
    @Override
    public void messageReceived(ChannelHandlerContext ctx, MessageEvent message) {
        CodecEvent codecEvent = (CodecEvent) (message.getMessage());
        
        //請(qǐng)求信息
        InvocationRequest request = (InvocationRequest) codecEvent.getInvocation();
        ProviderContext invocationContext = new DefaultProviderContext(request, new NettyServerChannel(ctx.getChannel()));
        try {
            //請(qǐng)求處理
            this.server.processRequest(request, invocationContext);
        } catch (Throwable e) {
            String msg = "process request failed:" + request;
            // 心跳消息只返回正常的, 異常不返回
            if (request.getCallType() == Constants.CALLTYPE_REPLY
                    && request.getMessageType() != Constants.MESSAGE_TYPE_HEART) {
                ctx.getChannel().write(ProviderUtils.createFailResponse(request, e));
            }
        }
    }

    @Override
    public Future<InvocationResponse> processRequest(InvocationRequest request, ProviderContext providerContext) {
                //最終調(diào)用RequestThreadPoolProcessor.doProcessRequest
        return requestProcessor.processRequest(request, providerContext);
    }

RequestThreadPoolProcessor.doProcessRequest就是我們所有關(guān)注的最終的業(yè)務(wù)處理邏輯颂翼,幾點(diǎn)說明如下:
1晃洒、將業(yè)務(wù)處理邏輯封裝在Callable任務(wù)中慨灭;
2、將Callable任務(wù)提交到線程池執(zhí)行球及;
3氧骤、ProviderProcessHandlerFactory中將不同消息類型對(duì)應(yīng)的Filter集合以ServiceInvocationHandler封裝成責(zé)任鏈模式的消息處理器鏈
代碼如下:

    public Future<InvocationResponse> doProcessRequest(final InvocationRequest request,
                                                       final ProviderContext providerContext) {
        requestContextMap.put(request, providerContext);

        doMonitorData(request, providerContext);
        
        Callable<InvocationResponse> requestExecutor = new Callable<InvocationResponse>() {

            @Override
            public InvocationResponse call() throws Exception {
                providerContext.getTimeline().add(new TimePoint(TimePhase.T));
                try {
                    //根據(jù)消息類型獲取對(duì)應(yīng)的Filter責(zé)任鏈
                    ServiceInvocationHandler invocationHandler = ProviderProcessHandlerFactory
                            .selectInvocationHandler(providerContext.getRequest().getMessageType());
                    if (invocationHandler != null) {
                        providerContext.setThread(Thread.currentThread());
                        //執(zhí)行責(zé)任鏈
                        return invocationHandler.handle(providerContext);
                    }
                } catch (Throwable t) {
                    logger.error("Process request failed with invocation handler, you should never be here.", t);
                } finally {
                    requestContextMap.remove(request);
                }
                return null;
            }
        };
        final ThreadPool pool = selectThreadPool(request);

        try {
            checkRequest(pool, request);
            providerContext.getTimeline().add(new TimePoint(TimePhase.T));
            //提交線程池執(zhí)行
            return pool.submit(requestExecutor);
        } catch (RejectedExecutionException e) {
            requestContextMap.remove(request);
            throw new RejectedException(getProcessorStatistics(pool), e);
        }

    }

關(guān)于ProviderProcessHandlerFactory中不同消息類型對(duì)應(yīng)的Filter集合如下:

    public static void init() {
                //業(yè)務(wù)消息
        registerBizProcessFilter(new TraceFilter());
        if (Constants.MONITOR_ENABLE) {
            registerBizProcessFilter(new MonitorProcessFilter());
        }
        registerBizProcessFilter(new WriteResponseProcessFilter());
        registerBizProcessFilter(new ContextTransferProcessFilter());
        registerBizProcessFilter(new ExceptionProcessFilter());
        registerBizProcessFilter(new SecurityFilter());
        registerBizProcessFilter(new GatewayProcessFilter());
        registerBizProcessFilter(new BusinessProcessFilter());
        bizInvocationHandler = createInvocationHandler(bizProcessFilters);
                //心跳消息
        registerHeartBeatProcessFilter(new WriteResponseProcessFilter());
        registerHeartBeatProcessFilter(new HeartbeatProcessFilter());
        heartBeatInvocationHandler = createInvocationHandler(heartBeatProcessFilters);
                
        registerHealthCheckProcessFilter(new WriteResponseProcessFilter());
        registerHealthCheckProcessFilter(new HealthCheckProcessFilter());
        healthCheckInvocationHandler = createInvocationHandler(healthCheckProcessFilters);

        registerScannerHeartBeatProcessFilter(new WriteResponseProcessFilter());
        registerScannerHeartBeatProcessFilter(new ScannerHeartBeatProcessFilter());
        scannerHeartBeatInvocationHandler = createInvocationHandler(scannerHeartBeatProcessFilters);
    }

以業(yè)務(wù)消息對(duì)應(yīng)的Filter集合為例子,來看下責(zé)任鏈的封裝以及Filter的執(zhí)行順序

        //Filter逆序封裝吃引,順序執(zhí)行
        //在ServiceInvocationHandler.handle中執(zhí)行filter.invoke筹陵,在filter.invoke中執(zhí)行next.handle
        private static <K, V extends ServiceInvocationFilter> ServiceInvocationHandler createInvocationHandler(
            List<V> internalFilters) {
        ServiceInvocationHandler last = null;
        List<V> filterList = new ArrayList<V>();
        filterList.addAll(internalFilters);
        for (int i = filterList.size() - 1; i >= 0; i--) {
            final V filter = filterList.get(i);
            final ServiceInvocationHandler next = last;
            last = new ServiceInvocationHandler() {
                @SuppressWarnings("unchecked")
                @Override
                public InvocationResponse handle(InvocationContext invocationContext) throws Throwable {
                    return filter.invoke(next, invocationContext);
                }
            };
        }
        return last;
    }

關(guān)于TraceFilter、MonitorProcessFilter镊尺、ExceptionProcessFilter等這里限于篇幅不具體分析代碼惶翻,這些Filter負(fù)責(zé)的功能從Filter命名可以猜個(gè)七七八八。我們重點(diǎn)看看BusinessProcessFilter

    @Override
    public InvocationResponse invoke(ServiceInvocationHandler handler, ProviderContext invocationContext)
            throws Throwable {
        invocationContext.getTimeline().add(new TimePoint(TimePhase.U));
        InvocationRequest request = invocationContext.getRequest();
        if (request.getMessageType() == Constants.MESSAGE_TYPE_SERVICE) {
            鹅心。吕粗。。
            InvocationResponse response = null;
            ServiceMethod method = invocationContext.getServiceMethod();
            if (method == null) {
                //ServiceMethodFactory緩存了service bean的方法映射關(guān)系
                method = ServiceMethodFactory.getMethod(request);
            }
            旭愧。颅筋。。
            Object returnObj = null;
            try {
                //基于反射調(diào)用
                returnObj = method.invoke(request.getParameters());
            } finally {
                ProviderHelper.clearContext();
            }

            invocationContext.getTimeline().add(new TimePoint(TimePhase.M, System.currentTimeMillis()));
            if (request.getCallType() == Constants.CALLTYPE_REPLY) {
                response = ProviderUtils.createSuccessResponse(request, returnObj);
            }
            return response;
        }
        throw new BadRequestException("message type[" + request.getMessageType() + "] is not supported!");
    }

可以看到我們根據(jù)請(qǐng)求信息InvocationRequest從ServiceMethodFactory找到對(duì)應(yīng)的service bean方法输枯,然后基于反射執(zhí)行议泵。
而ServiceMethodFactory在上篇s服務(wù)初始化過程中緩存了每一個(gè)service bean的方法映射關(guān)系。

至此我們理清了TCP協(xié)議NettyServer的消息處理機(jī)制桃熄。
關(guān)于http協(xié)議的JettyHttpServer實(shí)現(xiàn)不再贅述了先口,感興趣的朋友可以自行了解。

轉(zhuǎn)載請(qǐng)備注原文鏈接瞳收。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
禁止轉(zhuǎn)載碉京,如需轉(zhuǎn)載請(qǐng)通過簡信或評(píng)論聯(lián)系作者。
  • 序言:七十年代末螟深,一起剝皮案震驚了整個(gè)濱河市谐宙,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌界弧,老刑警劉巖凡蜻,帶你破解...
    沈念sama閱讀 217,826評(píng)論 6 506
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異垢箕,居然都是意外死亡划栓,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,968評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門条获,熙熙樓的掌柜王于貴愁眉苦臉地迎上來忠荞,“玉大人,你說我怎么就攤上這事∽耆鳎” “怎么了奋姿?”我有些...
    開封第一講書人閱讀 164,234評(píng)論 0 354
  • 文/不壞的土叔 我叫張陵,是天一觀的道長素标。 經(jīng)常有香客問我称诗,道長,這世上最難降的妖魔是什么头遭? 我笑而不...
    開封第一講書人閱讀 58,562評(píng)論 1 293
  • 正文 為了忘掉前任寓免,我火速辦了婚禮,結(jié)果婚禮上计维,老公的妹妹穿的比我還像新娘袜香。我一直安慰自己,他們只是感情好鲫惶,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,611評(píng)論 6 392
  • 文/花漫 我一把揭開白布蜈首。 她就那樣靜靜地躺著,像睡著了一般欠母。 火紅的嫁衣襯著肌膚如雪欢策。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,482評(píng)論 1 302
  • 那天赏淌,我揣著相機(jī)與錄音踩寇,去河邊找鬼。 笑死六水,一個(gè)胖子當(dāng)著我的面吹牛俺孙,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播掷贾,決...
    沈念sama閱讀 40,271評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼睛榄,長吁一口氣:“原來是場噩夢(mèng)啊……” “哼!你這毒婦竟也來了胯盯?” 一聲冷哼從身側(cè)響起懈费,我...
    開封第一講書人閱讀 39,166評(píng)論 0 276
  • 序言:老撾萬榮一對(duì)情侶失蹤计露,失蹤者是張志新(化名)和其女友劉穎博脑,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體票罐,經(jīng)...
    沈念sama閱讀 45,608評(píng)論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡叉趣,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,814評(píng)論 3 336
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了该押。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片疗杉。...
    茶點(diǎn)故事閱讀 39,926評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出烟具,到底是詐尸還是另有隱情梢什,我是刑警寧澤,帶...
    沈念sama閱讀 35,644評(píng)論 5 346
  • 正文 年R本政府宣布朝聋,位于F島的核電站嗡午,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏冀痕。R本人自食惡果不足惜荔睹,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,249評(píng)論 3 329
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望言蛇。 院中可真熱鬧僻他,春花似錦、人聲如沸腊尚。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,866評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽婿斥。三九已至丢胚,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間受扳,已是汗流浹背携龟。 一陣腳步聲響...
    開封第一講書人閱讀 32,991評(píng)論 1 269
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留勘高,地道東北人峡蟋。 一個(gè)月前我還...
    沈念sama閱讀 48,063評(píng)論 3 370
  • 正文 我出身青樓,卻偏偏與公主長得像华望,于是被迫代替她去往敵國和親蕊蝗。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,871評(píng)論 2 354