Hadoop文件分片split的原理解析

1. 定義

1.1 block

block是物理塊跨扮,文件存放到HDFS上后,會將大文件按照每塊128MB的大小切分验毡,存放到不同的DataNode上衡创。

1.2 split

split是邏輯上的分片,在MapReduce中Map開始之前晶通,會將輸入文件按照指定大小切分為多個小片璃氢,每一部分對應(yīng)一個Map Task,默認(rèn)split的大小與block的大小相同狮辽,為128MB一也。

2. 參數(shù)設(shè)置

2.1 block默認(rèn)配置在hdfs-site.xml中【$HADOOP_HOME/share/hadoop/hdfs/hadoop-hdfs-x.y.z.jar

<property>
    <name>dfs.blocksize</name>
    <value>134217728</value>
    <description>
        默認(rèn)block的大小參數(shù)配置以字節(jié)為單位(例如134217728,128 MB)喉脖。
        也可以使用如128k椰苟,512m,1g等為單位(不區(qū)分大小寫)树叽。
    </description>
</property>

2.2 split大小由minSize舆蝴、maxSizeblockSize決定

  • long minSize = 1
    FileInputFormat.getSplits方法中题诵,minSize的賦值:
    // 取getFormatMinSplitSize()洁仗、getMinSplitSize(job)的最大值
    long minSize = Math.max(getFormatMinSplitSize(), getMinSplitSize(job));
    
    protected long getFormatMinSplitSize() {
        return 1;
    }
    
    public static long getMinSplitSize(JobContext job) {
        return job.getConfiguration().getLong(SPLIT_MINSIZE, 1L);
    }
    
  • long maxSize = Long.MAX_VALUE
    FileInputFormat.getSplits方法中,maxSize的賦值:
    long maxSize = getMaxSplitSize(job);
    
    public static long getMaxSplitSize(JobContext context) {
        return context.getConfiguration().getLong(SPLIT_MAXSIZE, Long.MAX_VALUE);
    }
    
    public long getLong(String name, long defaultValue) {
        // 用戶自定義了參數(shù)
        String valueString = getTrimmed(name);
        if (valueString == null)
            // 返回默認(rèn)值Long.MAX_VALUE
            return defaultValue;
        String hexString = getHexDigits(valueString);
        if (hexString != null) {
            return Long.parseLong(hexString, 16);
        }
        return Long.parseLong(valueString);
    }
    
  • long blockSize = 128MB

2.3 結(jié)論

FileInputFormat.getSplits方法中對文件進(jìn)行了Split:

long blockSize = file.getBlockSize();
long splitSize = computeSplitSize(blockSize, minSize, maxSize);

protected long computeSplitSize(long blockSize, long minSize, long maxSize) {
    return Math.max(minSize, Math.min(maxSize, blockSize));
}
image.png

split與block的對應(yīng)關(guān)系可以是多對一性锭,默認(rèn)一對一:

  1. 如果blockSize < maxSize && blockSize < minSize赠潦,那么split就是blockSize【一對一】
  2. 如果blockSize < maxSize && blockSize > minSize,那么split就是minSize
  3. 如果blockSize > maxSize && maxSize > minSize草冈,那么split就是maxSize【多對一】
  4. 如果blockSize > maxSize && maxSize < minSize祭椰,那么split就是minSize

3. 分片主要源碼

public List<InputSplit> getSplits(JobContext job) throws IOException {
    Stopwatch sw = new Stopwatch().start();
    // 分片最小值臭家,默認(rèn)為 1
    long minSize = Math.max(getFormatMinSplitSize(), getMinSplitSize(job));
    // 分片最大值,默認(rèn)為 LONG.MAX_VALUE
    long maxSize = getMaxSplitSize(job);

    // 生成分片列表
    List<InputSplit> splits = new ArrayList<InputSplit>();
    // 列出文件狀態(tài)
    List<FileStatus> files = listStatus(job);
    for (FileStatus file: files) {
        // 獲得文件路徑和大小
        Path path = file.getPath();
        long length = file.getLen();
        if (length != 0) {
            BlockLocation[] blkLocations;
            // 獲得block塊的位置信息
            if (file instanceof LocatedFileStatus) {
                blkLocations = ((LocatedFileStatus) file).getBlockLocations();
            } else {
                FileSystem fs = path.getFileSystem(job.getConfiguration());
                blkLocations = fs.getFileBlockLocations(file, 0, length);
            }
            // 判斷文件是否可以分片
            if (isSplitable(job, path)) {
                // 獲得文件blockSize大小方淤,默認(rèn)128MB
                long blockSize = file.getBlockSize();
                // 獲得split大小钉赁,默認(rèn)128MB
                long splitSize = computeSplitSize(blockSize, minSize, maxSize);
                // 文件剩余大小
                long bytesRemaining = length;
                // 當(dāng)剩余大小大于split大小的1.1倍時,進(jìn)行分片
                // private static final double SPLIT_SLOP = 1.1;
                while (((double) bytesRemaining)/splitSize > SPLIT_SLOP) {
                    // 獲得block塊的索引位置
                    int blkIndex = getBlockIndex(blkLocations, length-bytesRemaining);
                    // 分片
                    splits.add(makeSplit(path, length-bytesRemaining, splitSize,
                            blkLocations[blkIndex].getHosts(),
                            blkLocations[blkIndex].getCachedHosts()));
                    // 原文件減去已經(jīng)分片大小
                    bytesRemaining -= splitSize;
                }
                // 判斷文件是否已經(jīng)完成分片携茂,如果還有剩余你踩,則將剩余部分作為一個分片
                if (bytesRemaining != 0) {
                    int blkIndex = getBlockIndex(blkLocations, length-bytesRemaining);
                    splits.add(makeSplit(path, length-bytesRemaining, bytesRemaining,
                            blkLocations[blkIndex].getHosts(),
                            blkLocations[blkIndex].getCachedHosts()));
                }
            } else { // not splitable
                splits.add(makeSplit(path, 0, length, blkLocations[0].getHosts(),
                        blkLocations[0].getCachedHosts()));
            }
        } else {
            //Create empty hosts array for zero length files
            splits.add(makeSplit(path, 0, length, new String[0]));
        }
    }
    // Save the number of input files for metrics/loadgen
    job.getConfiguration().setLong(NUM_INPUT_FILES, files.size());
    sw.stop();
    if (LOG.isDebugEnabled()) {
        LOG.debug("Total # of splits generated by getSplits: " + splits.size()
                + ", TimeTaken: " + sw.elapsedMillis());
    }
    return splits;
}

// 分片,封裝分片信息讳苦,文件路徑带膜,分片起始位置,分片大小鸳谜,對應(yīng)block塊所在的hosts列表膝藕,對應(yīng)block塊緩存副本所在的hosts列表
protected FileSplit makeSplit(Path file, long start, long length, String[] hosts, String[] inMemoryHosts) {
    return new FileSplit(file, start, length, hosts, inMemoryHosts);
}

寫在最后

上面說到的,當(dāng)剩余大小大于split大小的1.1倍時咐扭,進(jìn)行分片

private static final double SPLIT_SLOP = 1.1;

我還沒有想出問什么是1.1倍芭挽,我猜想是為了減少一些分片數(shù)量,比如這種情況蝗肪?


這種
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末袜爪,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子薛闪,更是在濱河造成了極大的恐慌辛馆,老刑警劉巖,帶你破解...
    沈念sama閱讀 211,042評論 6 490
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件豁延,死亡現(xiàn)場離奇詭異昙篙,居然都是意外死亡,警方通過查閱死者的電腦和手機诱咏,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 89,996評論 2 384
  • 文/潘曉璐 我一進(jìn)店門苔可,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人胰苏,你說我怎么就攤上這事硕蛹。” “怎么了硕并?”我有些...
    開封第一講書人閱讀 156,674評論 0 345
  • 文/不壞的土叔 我叫張陵法焰,是天一觀的道長。 經(jīng)常有香客問我倔毙,道長埃仪,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 56,340評論 1 283
  • 正文 為了忘掉前任陕赃,我火速辦了婚禮卵蛉,結(jié)果婚禮上颁股,老公的妹妹穿的比我還像新娘。我一直安慰自己傻丝,他們只是感情好甘有,可當(dāng)我...
    茶點故事閱讀 65,404評論 5 384
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著葡缰,像睡著了一般亏掀。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上泛释,一...
    開封第一講書人閱讀 49,749評論 1 289
  • 那天滤愕,我揣著相機與錄音,去河邊找鬼怜校。 笑死间影,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的茄茁。 我是一名探鬼主播魂贬,決...
    沈念sama閱讀 38,902評論 3 405
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼胰丁!你這毒婦竟也來了随橘?” 一聲冷哼從身側(cè)響起喂分,我...
    開封第一講書人閱讀 37,662評論 0 266
  • 序言:老撾萬榮一對情侶失蹤锦庸,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后蒲祈,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體甘萧,經(jīng)...
    沈念sama閱讀 44,110評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,451評論 2 325
  • 正文 我和宋清朗相戀三年梆掸,在試婚紗的時候發(fā)現(xiàn)自己被綠了扬卷。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 38,577評論 1 340
  • 序言:一個原本活蹦亂跳的男人離奇死亡酸钦,死狀恐怖怪得,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情卑硫,我是刑警寧澤徒恋,帶...
    沈念sama閱讀 34,258評論 4 328
  • 正文 年R本政府宣布,位于F島的核電站欢伏,受9級特大地震影響入挣,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜硝拧,卻給世界環(huán)境...
    茶點故事閱讀 39,848評論 3 312
  • 文/蒙蒙 一径筏、第九天 我趴在偏房一處隱蔽的房頂上張望葛假。 院中可真熱鬧,春花似錦滋恬、人聲如沸聊训。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,726評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽魔眨。三九已至,卻和暖如春酿雪,著一層夾襖步出監(jiān)牢的瞬間遏暴,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 31,952評論 1 264
  • 我被黑心中介騙來泰國打工指黎, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留朋凉,地道東北人。 一個月前我還...
    沈念sama閱讀 46,271評論 2 360
  • 正文 我出身青樓醋安,卻偏偏與公主長得像杂彭,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子吓揪,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 43,452評論 2 348

推薦閱讀更多精彩內(nèi)容