接下來從三個部分介紹下kafka 0.11及以上版本如何實現(xiàn)事務(wù)機制稠项。 第一部分：kafka producer生產(chǎn)records的過程涯雅。 第二部分：kafka produce...
發(fā)簡信
IP屬地：北京
-
kafka 0.11 事務(wù)機制梳理 -
Netty系列-Bytebuf中pool、unpool展运、heap活逆、Direct類型結(jié)構(gòu)秒懂上一篇介紹了ByteBuffer和ByteBuf結(jié)構(gòu)，Bytebuf提供接口方法要比ByteBuffer簡潔并強大拗胜。這篇在ByteBuf基礎(chǔ)上學(xué)習(xí)下主要的ByteBuf蔗候，包括...
-
Netty系列-一分鐘了解ByteBuffer和ByteBuf結(jié)構(gòu)上一篇文章BIO、NIO掃盲主要介紹了BIO和NIO模型網(wǎng)絡(luò)結(jié)構(gòu)埂软，并通過簡單代碼說明BIO和NIO核心功能及使用锈遥。NIO通過多路復(fù)用選擇器Selector解耦server和c...
-
Netty系列-BIO、NIO 掃盲熟悉網(wǎng)絡(luò)編程的同學(xué)可能聽過BIO勘畔、NIO網(wǎng)絡(luò)模型所灸。本篇文章作為Netty系列開篇，先從總體介紹下以上兩種網(wǎng)絡(luò)I/O模型咖杂。 BIO BIO(Blocking...
-
elasticsearch 常用知識概念在應(yīng)用系統(tǒng)需要進行文本內(nèi)容檢索時庆寺，這時不得不提到全文檢索。而全文檢索是將一個完整的信息源的全部內(nèi)容轉(zhuǎn)化為計算機可以識別诉字、處理的信息單元而形成的數(shù)據(jù)集合懦尝。比較有名的全文檢索軟件...
-
Hadoop yarn運行機制及調(diào)度過程知識hadoop主要組件有hdfs、yarn壤圃，hdfs是分布式文件系統(tǒng)陵霉，主要是進行文件的存儲，而yarn是hadoop集群資源管理系統(tǒng)伍绳，支持分布式計算模式踊挠，下面將介紹yarn的運...
-
MapReduce執(zhí)行過程及shuffle詳解開始學(xué)習(xí)Hadoop時，經(jīng)常會聽到MapReduce冲杀。MapReduce由Map和Reduce兩個階段效床，每個階段都是以鍵-值對作為輸入和輸出，Map階段是將數(shù)據(jù)進行映射處理权谁，...
-
hive數(shù)據(jù)調(diào)優(yōu)
hive作為數(shù)據(jù)倉庫工具剩檀，可以查看HDFS結(jié)構(gòu)化文件內(nèi)容，使用sql進行數(shù)據(jù)加工處理。在使用hive進行數(shù)據(jù)查詢時，底層執(zhí)行引擎主要是MapReduce，而MapReduce...
-
hive 主要sql整理在hive中進行數(shù)據(jù)處理和查詢時景鼠，常用又比較生僻sql整理运嗜。 group by and having group by通常會和聚合函數(shù)一起使用壶辜，按照某一個或者多個列對結(jié)果進行...
-
hive join操作sql整理
在使用hive進行數(shù)據(jù)加工處理時，經(jīng)常要進行兩個數(shù)據(jù)表join關(guān)聯(lián)担租，接下來具體介紹hive sql中要使用的join砸民。 本實驗用到a表和b表，表結(jié)構(gòu)如下： hive> des...
-
數(shù)據(jù)倉庫inmon和kimkimball兩大派系之爭網(wǎng)上已經(jīng)有很多關(guān)于數(shù)據(jù)倉庫特征的介紹奋救，這里就不再贅述阱洪。主要是梳理下數(shù)據(jù)倉庫inmon和kimball兩大派系的特點。 kimball數(shù)據(jù)倉庫架構(gòu) Kimball架構(gòu)是一種自下...
-
數(shù)據(jù)庫1NF-3NF范式深入理解關(guān)系型數(shù)據(jù)庫設(shè)計時為確保數(shù)據(jù)存儲規(guī)范化菠镇，通常需要按照范式設(shè)計數(shù)據(jù)，接下來主要介紹下1NF-3NF遞進式數(shù)據(jù)庫設(shè)計承璃，4NF利耍、5NF日常使用較少不包含在本次內(nèi)容中。 首先總體描述...
-
深度學(xué)習(xí)入門系列：感知機到神經(jīng)網(wǎng)絡(luò)前言 感知機可以表示部分復(fù)雜函數(shù)盔粹，但是在設(shè)定權(quán)重的工作隘梨，確定能符合預(yù)期的輸入與輸出權(quán)重需要由人工進行，而神經(jīng)網(wǎng)絡(luò)可以自動從數(shù)據(jù)中學(xué)習(xí)到合適的權(quán)重參數(shù) 1舷嗡、從感知機到神經(jīng)網(wǎng)絡(luò) ...
-
深度學(xué)習(xí)入門系列：感知機-多層感知機演變1轴猎、感知機 感知機接收多個輸入信號，輸出一個信號进萄，上圖是一個接收兩個輸入信號的感知機的例子捻脖。 x1、 x2是輸入信號中鼠，y是輸出信號可婶， w1、 w2是權(quán)重（w是weigh...
-
spark streaming 集成kafka0.10 offset是如何管理的源碼解析spark streaming+kafka 0.10集成默認(rèn)spark partition和kafka partition數(shù)量是1:1援雇，這樣可以使得每個spark pa...
-
