Netty連接處理那些事

編者注:Netty是Java領(lǐng)域有名的開源網(wǎng)絡(luò)庫,特點(diǎn)是高性能和高擴(kuò)展性则披,因此很多流行的框架都是基于它來構(gòu)建的转晰,比如我們熟知的Dubbo、Rocketmq支示、Hadoop等,針對高性能RPC鄙才,一般都是基于Netty來構(gòu)建颂鸿,比如soft-bolt≡茆郑總之一句話嘴纺,Java小伙伴們需要且有必要學(xué)會(huì)使用Netty并理解其實(shí)現(xiàn)原理。
關(guān)于Netty的入門講解可參考:Netty 入門浓冒,這一篇文章就夠了

Netty的連接處理就是IO事件的處理栽渴,IO事件包括讀事件、ACCEPT事件稳懒、寫事件和OP_CONNECT事件闲擦。

IO事件的處理是結(jié)合ChanelPipeline來做的,一個(gè)IO事件到來,首先進(jìn)行數(shù)據(jù)的讀寫操作墅冷,然后交給ChannelPipeline進(jìn)行后續(xù)處理纯路,ChannelPipeline中包含了channelHandler鏈(head + 自定義channelHandler + tail)。
使用channelPipeline和channelHandler機(jī)制俺榆,起到了解耦和可擴(kuò)展的作用感昼。一個(gè)IO事件的處理,包含了多個(gè)處理流程罐脊,這些處理流程正好對應(yīng)channelPipeline中的channelHandler定嗓。如果對數(shù)據(jù)處理有新的需求,那么就新增channelHandler添加到channelPipeline中萍桌,這樣實(shí)現(xiàn)很6宵溅,以后自己寫代碼可以參考。

說到這里上炎,一般為了滿足擴(kuò)展性要求恃逻,常用2種模式:

  • 方法模板模式:模板中定義了各個(gè)主流程,并且留下對應(yīng)hook方法藕施,便于擴(kuò)展寇损。
  • 責(zé)任鏈模式:串行模式,可以動(dòng)態(tài)添加鏈數(shù)量和對應(yīng)回調(diào)方法裳食。

netty的channelHandlerchannelPipeline可以理解成就是責(zé)任鏈模式矛市,通過動(dòng)態(tài)增加channelHandler可達(dá)到復(fù)用和高擴(kuò)展性目的。

了解netty連接處理機(jī)制之前需要了解下NioEventLoop模型诲祸,其中處理連接事件的架構(gòu)圖如下:

image

對應(yīng)的處理邏輯源碼為:

// 處理各種IO事件
private void processSelectedKey(SelectionKey k, AbstractNioChannel ch) {
    final AbstractNioChannel.NioUnsafe unsafe = ch.unsafe();

    try {
        int readyOps = k.readyOps();
        if ((readyOps & SelectionKey.OP_CONNECT) != 0) {
            // OP_CONNECT事件浊吏,client連接上客戶端時(shí)觸發(fā)的事件
            int ops = k.interestOps();
            ops &= ~SelectionKey.OP_CONNECT;
            k.interestOps(ops);
            unsafe.finishConnect();
        }

        if ((readyOps & SelectionKey.OP_WRITE) != 0) {
            ch.unsafe().forceFlush();
        }

        if ((readyOps & (SelectionKey.OP_READ | SelectionKey.OP_ACCEPT)) != 0 || readyOps == 0) {
            // 注意,這里讀事件和ACCEPT事件對應(yīng)的unsafe實(shí)例是不一樣的
            // 讀事件 -> NioByteUnsafe,  ACCEPT事件 -> NioMessageUnsafe
            unsafe.read();
        }
    } catch (CancelledKeyException ignored) {
        unsafe.close(unsafe.voidPromise());
    }
}

從上面代碼來看救氯,事件主要分為3種找田,分別是OP_CONNECT事件、寫事件和讀事件(也包括ACCEPT事件)着憨。下面分為3部分展開:

ACCEPT事件

// NioMessageUnsafe
public void read() {
    assert eventLoop().inEventLoop();
    final ChannelConfig config = config();
    final ChannelPipeline pipeline = pipeline();
    final RecvByteBufAllocator.Handle allocHandle = unsafe().recvBufAllocHandle();
    allocHandle.reset(config);
 
    boolean closed = false;
    Throwable exception = null;
    try {
        do {
            // 調(diào)用java socket的accept方法墩衙,接收請求
            int localRead = doReadMessages(readBuf);
            // 增加統(tǒng)計(jì)計(jì)數(shù)
            allocHandle.incMessagesRead(localRead);
        } while (allocHandle.continueReading());
    } catch (Throwable t) {
        exception = t;
    }
 
    // readBuf中存的是NioChannel
    int size = readBuf.size();
    for (int i = 0; i < size; i ++) {
        readPending = false;
        // 觸發(fā)fireChannelRead
        pipeline.fireChannelRead(readBuf.get(i));
    }
    readBuf.clear();
    allocHandle.readComplete();
    pipeline.fireChannelReadComplete();
}

連接建立好之后就該連接的channel注冊到workGroup中某個(gè)NIOEventLoop的selector中,注冊操作是在fireChannelRead中完成的享扔,這一塊邏輯就在ServerBootstrapAcceptor.channelRead中底桂。

// ServerBootstrapAcceptor
public void channelRead(ChannelHandlerContext ctx, Object msg) {
    final Channel child = (Channel) msg;
 
    // 設(shè)置channel的pipeline handler,及channel屬性
    child.pipeline().addLast(childHandler);
    setChannelOptions(child, childOptions, logger);
 
    for (Entry<AttributeKey<?>, Object> e: childAttrs) {
        child.attr((AttributeKey<Object>) e.getKey()).set(e.getValue());
    }
 
    try {
        // 將channel注冊到childGroup中的Selector上
        childGroup.register(child).addListener(new ChannelFutureListener() {
            @Override
            public void operationComplete(ChannelFuture future) throws Exception {
                if (!future.isSuccess()) {
                    forceClose(child, future.cause());
                }
            }
        });
    } catch (Throwable t) {
        forceClose(child, t);
    }
}

READ事件

// NioByteUnsafe
public final void read() {
    final ChannelConfig config = config();
    final ChannelPipeline pipeline = pipeline();
    final ByteBufAllocator allocator = config.getAllocator();
    final RecvByteBufAllocator.Handle allocHandle = recvBufAllocHandle();
    allocHandle.reset(config);
 
    ByteBuf byteBuf = null;
    boolean close = false;
    try {
        do {
            byteBuf = allocHandle.allocate(allocator);
            // 從channel中讀取數(shù)據(jù)惧眠,存放到byteBuf中
            allocHandle.lastBytesRead(doReadBytes(byteBuf));
 
            allocHandle.incMessagesRead(1);
            readPending = false;
 
            // 觸發(fā)fireChannelRead
            pipeline.fireChannelRead(byteBuf);
            byteBuf = null;
        } while (allocHandle.continueReading());

        // 觸發(fā)fireChannelReadComplete,如果在fireChannelReadComplete中執(zhí)行了ChannelHandlerContext.flush于个,則響應(yīng)結(jié)果返回給客戶端
        allocHandle.readComplete();
        // 觸發(fā)fireChannelReadComplete
        pipeline.fireChannelReadComplete();
 
        if (close) {
            closeOnRead(pipeline);
        }
    } catch (Throwable t) {
        if (!readPending && !config.isAutoRead()) {
            removeReadOp();
        }
    }
}

寫事件

正常情況下一般是不會(huì)注冊寫事件的氛魁,如果Socket發(fā)送緩沖區(qū)中沒有空閑內(nèi)存時(shí),再寫入會(huì)導(dǎo)致阻塞,此時(shí)可以注冊寫事件秀存,當(dāng)有空閑內(nèi)存(或者可用字節(jié)數(shù)大于等于其低水位標(biāo)記)時(shí)捶码,再響應(yīng)寫事件,并觸發(fā)對應(yīng)回調(diào)或链。

if ((readyOps & SelectionKey.OP_WRITE) != 0) {
    // 寫事件惫恼,從flush操作來看,雖然之前沒有向socket緩沖區(qū)寫數(shù)據(jù)澳盐,但是已經(jīng)寫入到
    // 了chnanel的outboundBuffer中祈纯,flush操作是將數(shù)據(jù)從outboundBuffer寫入到
    // socket緩沖區(qū)
    ch.unsafe().forceFlush();
}

CONNECT事件

該事件是client觸發(fā)的,由主動(dòng)建立連接這一側(cè)觸發(fā)的叼耙。

if ((readyOps & SelectionKey.OP_CONNECT) != 0) {
    // OP_CONNECT事件腕窥,client連接上客戶端時(shí)觸發(fā)的事件
    int ops = k.interestOps();
    ops &= ~SelectionKey.OP_CONNECT;
    k.interestOps(ops);
 
    // 觸發(fā)finishConnect事件,其中就包括fireChannelActive事件筛婉,如果有自定義的handler有channelActive方法簇爆,則會(huì)觸發(fā)
    unsafe.finishConnect();
}

推薦閱讀

歡迎小伙伴關(guān)注【TopCoder】閱讀更多精彩好文爽撒。

image

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末入蛆,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子硕勿,更是在濱河造成了極大的恐慌哨毁,老刑警劉巖,帶你破解...
    沈念sama閱讀 219,539評論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件首尼,死亡現(xiàn)場離奇詭異挑庶,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)软能,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,594評論 3 396
  • 文/潘曉璐 我一進(jìn)店門迎捺,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人查排,你說我怎么就攤上這事凳枝。” “怎么了跋核?”我有些...
    開封第一講書人閱讀 165,871評論 0 356
  • 文/不壞的土叔 我叫張陵岖瑰,是天一觀的道長。 經(jīng)常有香客問我砂代,道長蹋订,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,963評論 1 295
  • 正文 為了忘掉前任刻伊,我火速辦了婚禮露戒,結(jié)果婚禮上椒功,老公的妹妹穿的比我還像新娘。我一直安慰自己智什,他們只是感情好动漾,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,984評論 6 393
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著荠锭,像睡著了一般旱眯。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上证九,一...
    開封第一講書人閱讀 51,763評論 1 307
  • 那天删豺,我揣著相機(jī)與錄音,去河邊找鬼甫贯。 笑死吼鳞,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的叫搁。 我是一名探鬼主播赔桌,決...
    沈念sama閱讀 40,468評論 3 420
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼渴逻!你這毒婦竟也來了疾党?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,357評論 0 276
  • 序言:老撾萬榮一對情侶失蹤惨奕,失蹤者是張志新(化名)和其女友劉穎雪位,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體梨撞,經(jīng)...
    沈念sama閱讀 45,850評論 1 317
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡雹洗,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,002評論 3 338
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了卧波。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片时肿。...
    茶點(diǎn)故事閱讀 40,144評論 1 351
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖港粱,靈堂內(nèi)的尸體忽然破棺而出螃成,到底是詐尸還是另有隱情,我是刑警寧澤查坪,帶...
    沈念sama閱讀 35,823評論 5 346
  • 正文 年R本政府宣布寸宏,位于F島的核電站,受9級特大地震影響偿曙,放射性物質(zhì)發(fā)生泄漏氮凝。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,483評論 3 331
  • 文/蒙蒙 一望忆、第九天 我趴在偏房一處隱蔽的房頂上張望覆醇。 院中可真熱鬧朵纷,春花似錦炭臭、人聲如沸永脓。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,026評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽常摧。三九已至,卻和暖如春威创,著一層夾襖步出監(jiān)牢的瞬間落午,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,150評論 1 272
  • 我被黑心中介騙來泰國打工肚豺, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留溃斋,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 48,415評論 3 373
  • 正文 我出身青樓吸申,卻偏偏與公主長得像梗劫,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個(gè)殘疾皇子截碴,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,092評論 2 355

推薦閱讀更多精彩內(nèi)容