netty之DirectByteBuf 和 HeapByteBuf淺談

ByteBuf是netty中數(shù)據(jù)傳輸?shù)娜萜鞣郑脕硖娲鶱IO中的ByteBuffer孩哑。其主要還是一個byte數(shù)組,以及包含了一些數(shù)據(jù)的操作方法翠桦。通過兩個指針readerIndex和writerIndex來讀寫分離横蜒,更好的處理數(shù)據(jù)。其結(jié)構(gòu)大致如下圖所示销凑。

ByteBuf示意圖

而從內(nèi)存分配的角度來講愁铺,ByteBuf又分為兩種,DirectByteBuf和HeapByteBuf闻鉴。簡而言之就是一種是分配在Direct Memory上的,一種是分配在Heap Memory上的茂洒。

這里稍微解釋一下direct memory孟岛。直接內(nèi)存(Direct Memory)并不是虛擬機運行時數(shù)據(jù)區(qū)的一部分,也不是Java虛擬機規(guī)范中定義的內(nèi)存區(qū)域,但是這部分內(nèi)存也被頻繁地使用渠羞,而且也可能導(dǎo)致異常出現(xiàn)斤贰。它是在JDK 1.4 中新加入了NIO(New Input/Output)類,引入了一種基于通道(Channel)與緩沖區(qū)(Buffer)的I/O 方式次询,它可以使用Native 函數(shù)庫直接分配堆外內(nèi)存荧恍,然通過一個存儲在Java 堆里面的DirectByteBuffer 對象作為這塊內(nèi)存的引用進行操作。這樣能在一些場景中顯著提高性能屯吊,因為避免了在Java 堆和Native 堆中來回復(fù)制數(shù)據(jù)送巡。

直接內(nèi)存的好處就是利用的是native庫,讀寫快速盒卸。但是它不在虛擬機的管理范圍之內(nèi)骗爆,這部分內(nèi)存只有在進行full gc時才會進行回收,而他的容量如果沒有明確限制蔽介,隨著數(shù)據(jù)的不斷讀寫勢必造成內(nèi)存中可利用的空間不斷變小摘投。所以netty做了引用計數(shù)機制來處理direct memory上的數(shù)據(jù)。其實對heap上的也做了引用計數(shù)虹蓄。

private static final AtomicIntegerFieldUpdater<AbstractReferenceCountedByteBuf> refCntUpdater;
private volatile int refCnt = 1;

其主要用了這兩個變量來處理引用計數(shù)問題犀呼。計數(shù)器基于 AtomicIntegerFieldUpdater,為什么不直接用AtomicInteger薇组?因為ByteBuf對象很多外臂,如果都把int包一層AtomicInteger花銷較大,而AtomicIntegerFieldUpdater只需要一個全局的靜態(tài)變量体箕。

retain

 @Override
    public ByteBuf retain() {
        for (;;) {
            int refCnt = this.refCnt;
            if (refCnt == 0) {
                throw new IllegalReferenceCountException(0, 1);
            }
            if (refCnt == Integer.MAX_VALUE) {
                throw new IllegalReferenceCountException(Integer.MAX_VALUE, 1);
            }
            if (refCntUpdater.compareAndSet(this, refCnt, refCnt + 1)) {
                break;
            }
        }
        return this;
    }

release

 @Override
    public boolean release() {
        for (;;) {
            int refCnt = this.refCnt;
            if (refCnt == 0) {
                throw new IllegalReferenceCountException(0, -1);
            }

            if (refCntUpdater.compareAndSet(this, refCnt, refCnt - 1)) {
                if (refCnt == 1) {
                    deallocate();
                    return true;
                }
                return false;
            }
        }
    }

這兩種ByteBuf有各自的特點专钉,用于針對不同的場景。
HeapByteBuf :特點是內(nèi)存的分配和回收速度快累铅≡拘耄可以被jvm自動回收。缺點就是在進行socket的I/O讀寫時娃兽,需要將堆內(nèi)存的緩沖區(qū)拷貝到內(nèi)核中菇民,有一定拷貝的代價。
DirectByteBuf:特點是分配在堆內(nèi)存外投储,相比于堆內(nèi)存分配速度會慢一點第练,并需要手動管理其引用計數(shù),清理不使用的內(nèi)存玛荞。但是其直接用native方法娇掏,不需要拷貝。

ByteBuf從內(nèi)存回收策略上來說也分為兩種pool和unpool勋眯。其中poolByteBuf主要是建立了一塊內(nèi)存池來管理ByteBuf婴梧。其主要為一塊poolArena下梢,其中維護這多個poolChunk。其變量大致如下塞蹭。

bstract class PoolArena<T> implements PoolArenaMetric {
    static final boolean HAS_UNSAFE = PlatformDependent.hasUnsafe();

    enum SizeClass {
        Tiny,
        Small,
        Normal
    }

    static final int numTinySubpagePools = 512 >>> 4;

    final PooledByteBufAllocator parent;

    private final int maxOrder;
    final int pageSize;
    final int pageShifts;
    final int chunkSize;
    final int subpageOverflowMask;
    final int numSmallSubpagePools;
    private final PoolSubpage<T>[] tinySubpagePools;
    private final PoolSubpage<T>[] smallSubpagePools;

    private final PoolChunkList<T> q050;
    private final PoolChunkList<T> q025;
    private final PoolChunkList<T> q000;
    private final PoolChunkList<T> qInit;
    private final PoolChunkList<T> q075;
    private final PoolChunkList<T> q100;

    private final List<PoolChunkListMetric> chunkListMetrics;
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末孽江,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子番电,更是在濱河造成了極大的恐慌岗屏,老刑警劉巖,帶你破解...
    沈念sama閱讀 216,470評論 6 501
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件漱办,死亡現(xiàn)場離奇詭異这刷,居然都是意外死亡,警方通過查閱死者的電腦和手機洼冻,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,393評論 3 392
  • 文/潘曉璐 我一進店門崭歧,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人撞牢,你說我怎么就攤上這事率碾。” “怎么了屋彪?”我有些...
    開封第一講書人閱讀 162,577評論 0 353
  • 文/不壞的土叔 我叫張陵所宰,是天一觀的道長。 經(jīng)常有香客問我畜挥,道長仔粥,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,176評論 1 292
  • 正文 為了忘掉前任蟹但,我火速辦了婚禮躯泰,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘华糖。我一直安慰自己麦向,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 67,189評論 6 388
  • 文/花漫 我一把揭開白布客叉。 她就那樣靜靜地躺著诵竭,像睡著了一般。 火紅的嫁衣襯著肌膚如雪兼搏。 梳的紋絲不亂的頭發(fā)上卵慰,一...
    開封第一講書人閱讀 51,155評論 1 299
  • 那天,我揣著相機與錄音佛呻,去河邊找鬼裳朋。 笑死,一個胖子當(dāng)著我的面吹牛吓著,可吹牛的內(nèi)容都是我干的再扭。 我是一名探鬼主播氧苍,決...
    沈念sama閱讀 40,041評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼泛范!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起紊撕,我...
    開封第一講書人閱讀 38,903評論 0 274
  • 序言:老撾萬榮一對情侶失蹤罢荡,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后对扶,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體区赵,經(jīng)...
    沈念sama閱讀 45,319評論 1 310
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,539評論 2 332
  • 正文 我和宋清朗相戀三年浪南,在試婚紗的時候發(fā)現(xiàn)自己被綠了笼才。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 39,703評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡络凿,死狀恐怖骡送,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情絮记,我是刑警寧澤摔踱,帶...
    沈念sama閱讀 35,417評論 5 343
  • 正文 年R本政府宣布,位于F島的核電站怨愤,受9級特大地震影響派敷,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜撰洗,卻給世界環(huán)境...
    茶點故事閱讀 41,013評論 3 325
  • 文/蒙蒙 一篮愉、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧差导,春花似錦试躏、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,664評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至络断,卻和暖如春裁替,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背貌笨。 一陣腳步聲響...
    開封第一講書人閱讀 32,818評論 1 269
  • 我被黑心中介騙來泰國打工弱判, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人锥惋。 一個月前我還...
    沈念sama閱讀 47,711評論 2 368
  • 正文 我出身青樓昌腰,卻偏偏與公主長得像开伏,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子遭商,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 44,601評論 2 353

推薦閱讀更多精彩內(nèi)容