BlobCache算法詳解

BlobCache算法和LruCache算法是android中的圖片緩存算法喻鳄。LruCache算法在日常開發(fā)中用得比較多虫溜,但BlobCache卻用得比較少稳衬,網(wǎng)上介紹的文章也是少得可憐瘟忱。

跟LruCache不一樣,BlobCache并不屬于android的util薪夕,BlobCache最開始使用的地方是谷歌的Gallery脚草,具體源碼可以查看:BlobCache

一赫悄、BlobCache框架

BlobCache.png

BlobCache會(huì)在本地保存三個(gè)文件imageCache.idx原献、imageCache.0imageCache.1(后綴固定埂淮,但前綴名字可以自定義)姑隅。其中imageCache.idx是數(shù)據(jù)的索引文件,imageCache.0imageCache.1是保存數(shù)據(jù)的文件倔撞。

BlobCache算法的核心就是將所有的緩存數(shù)據(jù)都保存在同一個(gè)data文件中(imageCache.0imageCache.1)讲仰,記錄緩存數(shù)據(jù)的索引保存在imageCache.idx文件中,由于imageCache.idx文件內(nèi)存占用較小痪蝇,讀寫時(shí)會(huì)把整個(gè)imageCache.idx文件映射至內(nèi)存鄙陡,然后使用RandomAccessFile隨機(jī)讀取接口,像操作指針一樣控制index的偏移量讀寫data文件對(duì)應(yīng)位置的數(shù)據(jù)躏啰。由于緩存文件存儲(chǔ)在同一個(gè)文件下趁矾,緩存數(shù)據(jù)只能增加不能刪除,BlobCache巧妙通過(guò)兩個(gè)data文件(active和inactive即imageCache.0imageCache.1)的翻轉(zhuǎn)來(lái)實(shí)現(xiàn)緩存數(shù)據(jù)的刪除更新给僵。

二毫捣、索引文件(imageCache.idx)

    // index header offset
    private static final int IH_MAGIC = 0;
    private static final int IH_MAX_ENTRIES = 4;
    private static final int IH_MAX_BYTES = 8;
    private static final int IH_ACTIVE_REGION = 12;
    private static final int IH_ACTIVE_ENTRIES = 16;
    private static final int IH_ACTIVE_BYTES = 20;
    private static final int IH_VERSION = 24;
    private static final int IH_CHECKSUM = 28;
    private static final int INDEX_HEADER_SIZE = 32;


    // Appends the data to the active file. It also updates the hash entry.
    // The proper hash entry (suitable for insertion or replacement) must be
    // pointed by mSlotOffset.
    private void insertInternal(long key, byte[] data, int length)
            throws IOException {
        byte[] header = mBlobHeader;
        int sum = checkSum(data);
        writeLong(header, BH_KEY, key);
        writeInt(header, BH_CHECKSUM, sum);
        writeInt(header, BH_OFFSET, mActiveBytes);
        writeInt(header, BH_LENGTH, length);
        mActiveDataFile.write(header);
        mActiveDataFile.write(data, 0, length);

         // key:8個(gè)字節(jié)
        mIndexBuffer.putLong(mSlotOffset, key);
         // offset 4個(gè)字節(jié)
        mIndexBuffer.putInt(mSlotOffset + 8, mActiveBytes);

        mActiveBytes += BLOB_HEADER_SIZE + length;
        writeInt(mIndexHeader, IH_ACTIVE_BYTES, mActiveBytes);
    }

    private void resetCache(int maxEntries, int maxBytes) throws IOException {
        mIndexFile.setLength(0);  // truncate to zero the index
        mIndexFile.setLength(INDEX_HEADER_SIZE + maxEntries * 12 * 2);
        mIndexFile.seek(0);
        byte[] buf = mIndexHeader;
        // MAGIC 4個(gè)字節(jié)
        writeInt(buf, IH_MAGIC, MAGIC_INDEX_FILE);
        // MAX_ENTRIES 4個(gè)字節(jié)
        writeInt(buf, IH_MAX_ENTRIES, maxEntries);
        // MAX_BYTES 4個(gè)字節(jié)
        writeInt(buf, IH_MAX_BYTES, maxBytes);
        writeInt(buf, IH_ACTIVE_REGION, 0);
        writeInt(buf, IH_ACTIVE_ENTRIES, 0);
        writeInt(buf, IH_ACTIVE_BYTES, DATA_HEADER_SIZE);
        writeInt(buf, IH_VERSION, mVersion);
        writeInt(buf, IH_CHECKSUM, checkSum(buf, 0, IH_CHECKSUM));
        mIndexFile.write(buf);
        // This is only needed if setLength does not zero the extended part.
        // writeZero(mIndexFile, maxEntries * 12 * 2);

        mDataFile0.setLength(0);
        mDataFile1.setLength(0);
        mDataFile0.seek(0);
        mDataFile1.seek(0);
        writeInt(buf, 0, MAGIC_DATA_FILE);
        mDataFile0.write(buf, 0, 4);
        mDataFile1.write(buf, 0, 4);
    }
BlobCache索引文件.png

BlobCache的索引文件(imageCache.idx)分成兩部分,前面32字節(jié)為用于記錄數(shù)據(jù)的頭部帝际,依次分別為:MAGIC蔓同、MAX_ENTRIES、MAX_BYTES蹲诀、ACTIVE_REGION斑粱、ACTIVE_ENTRIES、ACTIVE_BYTES脯爪、VERSION则北、CHECKSUM,都是占4個(gè)字節(jié)披粟;后面的是存儲(chǔ)圖片的key和該key對(duì)應(yīng)的圖片在數(shù)據(jù)文件中的起始位置咒锻,分別占8個(gè)字節(jié)和4個(gè)字節(jié),總共12個(gè)字節(jié)守屉。

三惑艇、數(shù)據(jù)文件(imageCache.0、imageCache.1)

    private void resetCache(int maxEntries, int maxBytes) throws IOException {
        mIndexFile.setLength(0);  // truncate to zero the index
        mIndexFile.setLength(INDEX_HEADER_SIZE + maxEntries * 12 * 2);
        mIndexFile.seek(0);
        byte[] buf = mIndexHeader;
        。滨巴。思灌。。恭取。泰偿。。
        蜈垮。耗跛。。攒发。调塌。。惠猿。
        // This is only needed if setLength does not zero the extended part.
        // writeZero(mIndexFile, maxEntries * 12 * 2);

        mDataFile0.setLength(0);
        mDataFile1.setLength(0);
        mDataFile0.seek(0);
        mDataFile1.seek(0);
        writeInt(buf, 0, MAGIC_DATA_FILE);
        // MAGIC 4個(gè)字節(jié)
        mDataFile0.write(buf, 0, 4);
        mDataFile1.write(buf, 0, 4);
    }

    // blob header offset
    private static final int BH_KEY = 0;
    private static final int BH_CHECKSUM = 8;
    private static final int BH_OFFSET = 12;
    private static final int BH_LENGTH = 16;
    private static final int BLOB_HEADER_SIZE = 20;
BlobCache數(shù)據(jù)文件.png

BlobCache的數(shù)據(jù)文件(imageCache.0羔砾、imageCache.1)分成兩部分,前面部分是MAGIC偶妖,占4個(gè)字節(jié)姜凄;后面部分是圖片的所有數(shù)據(jù),包括Blob頭部和數(shù)據(jù)趾访。Blob頭部又包括KEY(8字節(jié))态秧、CHECKSUM(4字節(jié))、OFFSET(4字節(jié))腹缩、LENGTH(4字節(jié))屿聋,總共20字節(jié);數(shù)據(jù)是指圖片的數(shù)據(jù)藏鹊,其長(zhǎng)度是變化的润讥,在Blob頭部的LENGTH字段中存儲(chǔ)。

四盘寡、寫入圖片數(shù)據(jù)流程

需要預(yù)先生成圖片的key和data數(shù)據(jù)文件

    // Inserts a (key, data) pair into the cache.
    public void insert(long key, byte[] data) throws IOException {
        if (DATA_HEADER_SIZE + BLOB_HEADER_SIZE + data.length > mMaxBytes) {
            throw new RuntimeException("blob is too large!");
        }

        // 校驗(yàn)數(shù)據(jù)文件大小是否達(dá)到上限
        if (mActiveBytes + BLOB_HEADER_SIZE + data.length > mMaxBytes
                || mActiveEntries * 2 >= mMaxEntries) {
            // 翻轉(zhuǎn)兩個(gè)data文件(active和inactive即imageCache.0和imageCache.1)
            flipRegion();
        }

        // 根據(jù)key楚殿,在索引文件中查找是否存在文件,如果存在竿痰,則獲取位置
        if (!lookupInternal(key, mActiveHashStart)) {
            // If we don't have an existing entry with the same key, increase
            // the entry count.
            mActiveEntries++;
            writeInt(mIndexHeader, IH_ACTIVE_ENTRIES, mActiveEntries);
        }

        // 插入數(shù)據(jù)
        insertInternal(key, data, data.length);
        // 更新索引文件
        updateIndexHeader();
    }

流程圖:

BlobCache寫入數(shù)據(jù)流程圖.png

五脆粥、讀取圖片數(shù)據(jù)流程

讀取圖片數(shù)據(jù),需要關(guān)鍵的key影涉。請(qǐng)求時(shí)变隔,需要傳入封裝好的LookupRequest,也可以只傳key蟹倾,使用內(nèi)部封裝的LookupRequest匣缘。LookupRequest封裝了key猖闪、buffer和length:

    public static class LookupRequest {
        public long key;        // input: the key to find
        public byte[] buffer;   // input/output: the buffer to store the blob
        public int length;      // output: the length of the blob
    }

讀取到相應(yīng)的圖片數(shù)據(jù)則返回true,否則返回false:

    public boolean lookup(LookupRequest req) throws IOException {
        // Look up in the active region first.
        if (lookupInternal(req.key, mActiveHashStart)) {
            if (getBlob(mActiveDataFile, mFileOffset, req)) {
                return true;
            }
        }

        // We want to copy the data from the inactive file to the active file
        // if it's available. So we keep the offset of the hash entry so we can
        // avoid looking it up again.
        int insertOffset = mSlotOffset;

        // Look up in the inactive region.
        if (lookupInternal(req.key, mInactiveHashStart)) {
            if (getBlob(mInactiveDataFile, mFileOffset, req)) {
                // If we don't have enough space to insert this blob into
                // the active file, just return it.
                if (mActiveBytes + BLOB_HEADER_SIZE + req.length > mMaxBytes
                        || mActiveEntries * 2 >= mMaxEntries) {
                    return true;
                }
                // Otherwise copy it over.
                mSlotOffset = insertOffset;
                try {
                    insertInternal(req.key, req.buffer, req.length);
                    mActiveEntries++;
                    writeInt(mIndexHeader, IH_ACTIVE_ENTRIES, mActiveEntries);
                    updateIndexHeader();
                } catch (Throwable t) {
                    Log.e(TAG, "cannot copy over");
                }
                return true;
            }
        }

        return false;
    }

流程圖:


BlobCache讀取數(shù)據(jù)流程圖.png

六肌厨、BlobCache培慌、DiskLruCache讀取時(shí)間對(duì)比

BlobCache與DiskLruCache的存儲(chǔ)和讀取速度對(duì)比

七、BlobCache在開發(fā)中的使用

這部分也放在下下一篇文章中

參考文章:

1柑爸、https://blog.csdn.net/Zj090308/article/details/51346471

2吵护、https://www.pianshen.com/article/10661346238/

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市表鳍,隨后出現(xiàn)的幾起案子馅而,更是在濱河造成了極大的恐慌,老刑警劉巖进胯,帶你破解...
    沈念sama閱讀 217,185評(píng)論 6 503
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件用爪,死亡現(xiàn)場(chǎng)離奇詭異原押,居然都是意外死亡胁镐,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,652評(píng)論 3 393
  • 文/潘曉璐 我一進(jìn)店門诸衔,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)盯漂,“玉大人,你說(shuō)我怎么就攤上這事笨农【屠拢” “怎么了?”我有些...
    開封第一講書人閱讀 163,524評(píng)論 0 353
  • 文/不壞的土叔 我叫張陵谒亦,是天一觀的道長(zhǎng)竭宰。 經(jīng)常有香客問(wèn)我,道長(zhǎng)份招,這世上最難降的妖魔是什么切揭? 我笑而不...
    開封第一講書人閱讀 58,339評(píng)論 1 293
  • 正文 為了忘掉前任,我火速辦了婚禮锁摔,結(jié)果婚禮上廓旬,老公的妹妹穿的比我還像新娘。我一直安慰自己谐腰,他們只是感情好孕豹,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,387評(píng)論 6 391
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著十气,像睡著了一般励背。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上砸西,一...
    開封第一講書人閱讀 51,287評(píng)論 1 301
  • 那天叶眉,我揣著相機(jī)與錄音,去河邊找鬼。 笑死竟闪,一個(gè)胖子當(dāng)著我的面吹牛离福,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播炼蛤,決...
    沈念sama閱讀 40,130評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼妖爷,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了理朋?” 一聲冷哼從身側(cè)響起絮识,我...
    開封第一講書人閱讀 38,985評(píng)論 0 275
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎嗽上,沒(méi)想到半個(gè)月后次舌,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,420評(píng)論 1 313
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡兽愤,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,617評(píng)論 3 334
  • 正文 我和宋清朗相戀三年彼念,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片浅萧。...
    茶點(diǎn)故事閱讀 39,779評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡逐沙,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出洼畅,到底是詐尸還是另有隱情吩案,我是刑警寧澤,帶...
    沈念sama閱讀 35,477評(píng)論 5 345
  • 正文 年R本政府宣布帝簇,位于F島的核電站徘郭,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏丧肴。R本人自食惡果不足惜残揉,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,088評(píng)論 3 328
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望冲甘。 院中可真熱鬧,春花似錦途样、人聲如沸江醇。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,716評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)裆站。三九已至条辟,卻和暖如春黔夭,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背羽嫡。 一陣腳步聲響...
    開封第一講書人閱讀 32,857評(píng)論 1 269
  • 我被黑心中介騙來(lái)泰國(guó)打工本姥, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人杭棵。 一個(gè)月前我還...
    沈念sama閱讀 47,876評(píng)論 2 370
  • 正文 我出身青樓婚惫,卻偏偏與公主長(zhǎng)得像魂爪,于是被迫代替她去往敵國(guó)和親先舷。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,700評(píng)論 2 354