有些代碼初次閱讀并不能看出其中的處理細節(jié)阱洪，但是當(dāng)過一段時間對這個部分熟悉了之后再來閱讀，就能發(fā)現(xiàn)并體會其中的細節(jié)寥掐。 本文說一下FSOutputSummer#write1的細節(jié)...
發(fā)簡信
IP屬地：北京
-
【HDFS-Client系列】FSOutputSummer#write1方法的細節(jié)
-
【HDFS】如果文件的lastblock的最后一個chunk不滿512字節(jié)棋恼，會生成checksum么貌笨？
如題桅滋，本文試圖弄清楚這樣一個問題：如果文件的最后一個block的最后一個chunk里的數(shù)據(jù)不足512字節(jié)僧著，那么還會為其生成checksum么心包？ 先給出答案：會生成类咧。 接著我們...
-
【HDFS】FsDatasetSpi#adjustCrcChannelPosition
FsDatasetSpi接口里定義adjustCrcChannelPosition方法。應(yīng)用場景在：append蟹腾，block recovery等場景痕惋。 方法的作用是設(shè)置che...
-
【HDFS】DFSPacket中l(wèi)astPacketInBlock字段的關(guān)鍵作用！
這篇文章介紹了DFSPacket對象的lastPacketInBlock字段相關(guān)的知識娃殖≈荡粒【HDFS Client】DFSPacket對象什么情況下是lastPacketInB...
-
【HDFS Client】DFSOutputStream細節(jié)（未完成）
前言 本文主要介紹以下內(nèi)容：DFSOutputStream里的一些重要方法的作用DFSOutputStream里關(guān)于寫Packet的一些有趣的配置項。 重要方法 abort：...
-
【HDFS Client】DFSPacket對象什么情況下是lastPacketInBlock炉爆？前言：本篇文章主要回答了如下問題：① HDFS客戶端寫數(shù)據(jù)時怎么界定一個DFSPacket對象是此block里的最后一個DFSPacket堕虹？② DFSPacket對象里的la...
-
protobuf協(xié)議兼容處理
目標(biāo)： 了解protobuf是如何做協(xié)議兼容的。 問題： 在protobuf中芬首，是怎么做到新舊協(xié)議傳輸?shù)募嫒莸母袄蹋热纾海▎栴}一）在新的協(xié)議里面增加了一個字段，傳輸?shù)搅硪环绞侨?..
-
【HDFS】BlockSender發(fā)送數(shù)據(jù)源碼詳解本文包含如下內(nèi)容：1郁稍、BlockSend在發(fā)送數(shù)據(jù)之前讀數(shù)據(jù)文件和meta文件生成的Packet的結(jié)構(gòu)赦政。2、BlockSender的核心方法：sendBlock和sendPa...
-
-
【HDFS】從BlockPoolSlice#createRbwFile到BlockReceiver()
BlockPoolSlice#createRbwFile的過程 FsDatasetImpl#createRbw的源碼詳解 需要構(gòu)造BlockReceiver的幾種情況討論 從...
-
【HDFS】FsDatasetImpl系列文章
【HDFS】FsDatasetImpl#recoverClose方法[https://blog.csdn.net/yexiguafu/article/details/1290...
-
【HDFS】一個RPC的生命周期，從服務(wù)端接收到響應(yīng)的各個階段的統(tǒng)計指標(biāo)注：本文參考的hadoop版本是：3.3.2 RPC生命周期 在ProcessingDetails.Timing枚舉類里： TODO：畫一幅圖财破，標(biāo)注出每個階段掰派。 Handle...
-
openJDK源碼下載對于英文不好的同學(xué)，在國外的網(wǎng)站下載各種工具代碼左痢， 是非常痛苦的靡羡。今天分享下openJDK源碼是如何下載的。 1.打開openjdk網(wǎng)站 打開鏈接 2.點擊想要下載的jdk的...
-
Linux內(nèi)核之文件系統(tǒng)如何描述一個文件 文件在內(nèi)存和磁盤上是如何描述的：每個文件至少要有一個數(shù)據(jù)結(jié)構(gòu)存放該文件的信息抖锥，包括uid亿眠、gid、flag磅废、文件長度纳像、文件內(nèi)容存放位置的數(shù)據(jù)結(jié)構(gòu)等。在Lin...
-
我在maven public倉庫里看到有g(shù)dal的包拯勉，直接用那個不行么?
【Java】maven-shaded-plugin超詳細詳解
一竟趾、總體介紹 maven-shaded-plugin提供了兩大基本功能： 將依賴的jar包打包到當(dāng)前jar包（常規(guī)打包是不會將所依賴的jar包打進來的）憔购； 對依賴的jar包進...
-
【Linux】物理CPU、CPU核數(shù)岔帽、邏輯CPU玫鸟、超線程基本概念 物理CPU： 物理CPU就是插在主機上的真實的CPU硬件，在Linux下可以數(shù)不同的physical id 來確認(rèn)主機的物理CPU個數(shù)犀勒。 核心數(shù)： 物理CPU的下一...
-
查看核心數(shù)的命令有問題屎飘，得在uniq前加個sort
[轉(zhuǎn)]物理CPU、CPU核數(shù)贾费、邏輯CPU钦购、超線程
轉(zhuǎn)自：http://wulc.me/2016/01/06/物理CPU、CPU核數(shù)褂萧、邏輯CPU押桃、超線程/ 基本概念 物理CPU：物理CPU就是插在主機上的真實的CPU硬件，在L...
-
【HDFS】一文搞懂WebHDFS
本文包含的主要內(nèi)容如下：① WebHDFS的原理② ExternalCall以及WebHdfs請求如何與RPC共用CallQueue③ ExternalCall的執(zhí)行與響應(yīng)過...
-
HDFS使用RBF注意事項
RBF 需要優(yōu)化的配置 NameNode 側(cè) NN 啟用 RPC context 特性导犹，在審計日志中打印真實的客戶端 IP.默認(rèn)情況下唱凯，NN 的審計日志記錄的所有請求的源 I...
-
【HDFS】Hadoop RPC是如何知道請求頭和數(shù)據(jù)長度的？
org.apache.hadoop.ipc.Server.Connection#readAndProcess: 下面這段代碼讀取出RPC Header + RPC請求體的長度...
個人介紹