蘿卜頭丶

@youngy 最新評(píng)論有解釋

Redis 大數(shù)據(jù)內(nèi)存優(yōu)化 (RoaringBitmap)

最近碰到手機(jī)設(shè)備匹配的業(yè)務(wù), 用戶在我司后臺(tái)可以上傳人群包, 里面存放的是設(shè)備的MD5標(biāo)識(shí)符; 一個(gè)人群包大概有千萬級(jí)的MD5數(shù)據(jù), 與廣告請(qǐng)求所攜帶設(shè)備標(biāo)識(shí)進(jìn)行匹配. 1....

蘿卜頭丶

8161 13 4

蘿卜頭丶

本文中的方案不是很好用, 首先hash存在碰撞, 數(shù)據(jù)量越大, 重合率越高;

roaringBitmap本身是為了解決數(shù)據(jù)離散問題, 盡可能的壓縮內(nèi)存占用;

后面看了下布隆過濾器的實(shí)現(xiàn)原理, 可以采用多個(gè)不同的hash函數(shù)進(jìn)行offset的定位, 如果多個(gè)hash函數(shù)后的每個(gè)offset值都為1, 可以看做該值可能存在, 如果其中有offset值不為1, 則該值肯定不存在;

結(jié)論
1. 阿里云提供工程化的解決方案(企業(yè)版Redis), TairRoaring, 原理和RoaringBitmap類似, 其中采用了更多的優(yōu)化算法, 壓縮率更高
2. TairBloom, 原理和布隆過濾器相似, 內(nèi)存占用也極低, 數(shù)據(jù)錯(cuò)誤率可以自定義, 錯(cuò)誤率越低, 內(nèi)存占用越大

Redis 大數(shù)據(jù)內(nèi)存優(yōu)化 (RoaringBitmap)

最近碰到手機(jī)設(shè)備匹配的業(yè)務(wù), 用戶在我司后臺(tái)可以上傳人群包, 里面存放的是設(shè)備的MD5標(biāo)識(shí)符; 一個(gè)人群包大概有千萬級(jí)的MD5數(shù)據(jù), 與廣告請(qǐng)求所攜帶設(shè)備標(biāo)識(shí)進(jìn)行匹配. 1....

蘿卜頭丶

8161 13 4

蘿卜頭丶

厲害, 很實(shí)用, 解決了我的問題

iOS加密--AES（CBC）和RSA組合加密（避坑）

遇到的坑 項(xiàng)目中使用AES（CBC）和RSA組合進(jìn)行加密罩引，但是一直存在加密之后的數(shù)據(jù)，服務(wù)端無法解析枝笨，比例小但卻是個(gè)問題袁铐。翻閱過很多資料之后發(fā)現(xiàn)以下幾個(gè)問題： 1、RSA加密...

我以我嬉笑見眾生

1960 1 1

蘿卜頭丶

是的, 會(huì)有這樣的一個(gè)問題, 在我們的這個(gè)業(yè)務(wù)場(chǎng)景中, 不需要100%的正確度;

Redis 大數(shù)據(jù)內(nèi)存優(yōu)化 (RoaringBitmap)

最近碰到手機(jī)設(shè)備匹配的業(yè)務(wù), 用戶在我司后臺(tái)可以上傳人群包, 里面存放的是設(shè)備的MD5標(biāo)識(shí)符; 一個(gè)人群包大概有千萬級(jí)的MD5數(shù)據(jù), 與廣告請(qǐng)求所攜帶設(shè)備標(biāo)識(shí)進(jìn)行匹配. 1....

蘿卜頭丶

8161 13 4

蘿卜頭丶 ·

如果你親自接過，你就知道每一個(gè)靠譜的

小鮮肉老臘肉都是肉 評(píng)論自程序員一般可以從什么平臺(tái)接私活伪嫁？

蘿卜頭丶

為啥要深挖這玩意 你每天都在用BOOL吧崖堤？那我就來問一道題：請(qǐng)問BOOL是非0即真嗎侍咱？ 如果不是百分百確定的，請(qǐng)往下看倘感。 BOOL的定義（Xcode7.3版本放坏，位于usr/i...