基于redis的布隆過濾器的實現(xiàn)

1埠褪、什么是布隆過濾器

可以把布隆過濾器理解為一個不怎么精確的set結(jié)構(gòu)凉逛,當(dāng)你使用它的contains方法判斷某個對象是否存在時,它可能會誤判捆姜。但是布隆過濾器也不是特別不精確妆够,只要參數(shù)設(shè)置得合理识啦,它的精確度也可以控制得相對足夠精確负蚊,只會有小小的誤判概率。

當(dāng)布隆過濾器說某個值存在時颓哮,這個值可能不存在家妆;當(dāng)它說某個值不存在時,那就肯定不存在冕茅。打個比方伤极,當(dāng)它說不認(rèn)識你時,肯定就是真的不認(rèn)識嵌赠;而當(dāng)他說認(rèn)識你時塑荒,卻有可能根本沒有見過你,只是因為你的臉跟它認(rèn)識的某人的臉比較相似姜挺,所以誤判以前認(rèn)識你齿税。

2、布隆過濾器的基本用法

redis官方提供的布隆過濾器到了redis 4.0提供了插件功能之后才正式登場炊豪。布隆過濾器作為一個插件加載到redis server中凌箕,給redis提供了強(qiáng)大的布隆去重功能。

布隆過濾器有兩個基本指令词渤,bf.add和bf.exists牵舱。bf.add添加元素,bf.exists查詢元素是否存在缺虐,它們的用法和set集合的sadd和sismember差不多芜壁。注意bf.add只能一次添加一個元素,如果想要一次添加多個高氮,就需要用到bf.madd指令慧妄。同樣如果需要一次查詢多個元素是否存在,就需要用到bf.mexists指令剪芍。

我們上面使用的布隆過濾器只是默認(rèn)參數(shù)的布隆過濾器塞淹,它在我們第一次add的時候自動創(chuàng)建。Redis其實還提供了自定義參數(shù)的布隆過濾器罪裹,需要我們在add之前使用bf.reserve指令顯示創(chuàng)建饱普。如果對于的key已經(jīng)存在,bf.reserve會報錯状共。bf.reserve有三個參數(shù)套耕,分別是key、error_rate(錯誤率)和initial_size口芍。error_rate越低箍铲,需要的空間越大。initial_size表示預(yù)計放入的元素數(shù)量鬓椭,當(dāng)實際數(shù)量超過這個數(shù)值時颠猴,誤判率會上升,所以需要提前設(shè)置一個較大的數(shù)值避免超出導(dǎo)致誤判率升高小染。如果不使用bf.reserve翘瓮,默認(rèn)的error_rate是0.01,默認(rèn)的initial_size是100裤翩。

3资盅、布隆過濾器的原理

學(xué)會了布隆過濾器的使用,下面有必須要把它的原理解釋一下踊赠,不然有些讀者還會繼續(xù)蒙在鼓里呵扛。

每個布隆過濾器對應(yīng)到redis的數(shù)據(jù)結(jié)構(gòu)里面就是一個大型的位數(shù)組和幾個不一樣的無偏hash函數(shù)。如下圖的f筐带、g今穿、h就是這樣的hash函數(shù)。所謂無偏就是能夠把元素的hash值算得比較均勻伦籍,讓元素被hash映射到位數(shù)組中的位置比較隨機(jī)蓝晒。

向布隆過濾器中添加key時,會使用多個hash函數(shù)對key進(jìn)行hash帖鸦,算得一個整數(shù)索引值芝薇,然后對位數(shù)組漲肚進(jìn)行取模運算得到一個位置,每個hash函數(shù)都會算得一個不同的位置作儿。在把位數(shù)組的這幾個位置都置為1洛二,就完成了add操作。

向布隆過濾器詢問key是否存在時攻锰,跟add一樣晾嘶,也會把hash的幾個位置都算出來,看看位數(shù)組中這幾個位置是否都為1口注,只要有一個位為0变擒,那么說明布隆過濾器中這個key不存在。如果這幾個位置都是1寝志,并不能說明這個key就一定存在娇斑,只是極有可能存在,因為這些位被置為1可能是因為其他的key存在所致材部。如果這個位數(shù)組比較稀疏毫缆,判斷正確的概率就會很大,如果這個位數(shù)組比較擁擠乐导,判斷正確的概率就會降低苦丁。具體的概率計算公式比較復(fù)雜,感興趣可以閱讀相關(guān)的更深入研究的資料物臂,不過非常燒腦旺拉,不建議讀者細(xì)讀产上。

使用時不要讓實際元素數(shù)量遠(yuǎn)大于初始化數(shù)量,當(dāng)實際元素數(shù)量開始超出初始化數(shù)量時蛾狗,應(yīng)該對布隆過濾器進(jìn)行重建晋涣,重新分配一個size更大的過濾器,在將所有的歷史元素批量add進(jìn)去沉桌。因為error_rate不會因為數(shù)量剛一超出就急劇增加谢鹊,這就給我們重建過濾器提供了較為寬松的時間。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末留凭,一起剝皮案震驚了整個濱河市佃扼,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌蔼夜,老刑警劉巖兼耀,帶你破解...
    沈念sama閱讀 216,402評論 6 499
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異挎扰,居然都是意外死亡翠订,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,377評論 3 392
  • 文/潘曉璐 我一進(jìn)店門遵倦,熙熙樓的掌柜王于貴愁眉苦臉地迎上來尽超,“玉大人,你說我怎么就攤上這事梧躺∷扑” “怎么了?”我有些...
    開封第一講書人閱讀 162,483評論 0 353
  • 文/不壞的土叔 我叫張陵掠哥,是天一觀的道長巩踏。 經(jīng)常有香客問我,道長续搀,這世上最難降的妖魔是什么塞琼? 我笑而不...
    開封第一講書人閱讀 58,165評論 1 292
  • 正文 為了忘掉前任,我火速辦了婚禮禁舷,結(jié)果婚禮上彪杉,老公的妹妹穿的比我還像新娘。我一直安慰自己牵咙,他們只是感情好派近,可當(dāng)我...
    茶點故事閱讀 67,176評論 6 388
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著洁桌,像睡著了一般渴丸。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,146評論 1 297
  • 那天谱轨,我揣著相機(jī)與錄音戒幔,去河邊找鬼。 笑死碟嘴,一個胖子當(dāng)著我的面吹牛溪食,可吹牛的內(nèi)容都是我干的囊卜。 我是一名探鬼主播娜扇,決...
    沈念sama閱讀 40,032評論 3 417
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼栅组!你這毒婦竟也來了雀瓢?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 38,896評論 0 274
  • 序言:老撾萬榮一對情侶失蹤玉掸,失蹤者是張志新(化名)和其女友劉穎刃麸,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體司浪,經(jīng)...
    沈念sama閱讀 45,311評論 1 310
  • 正文 獨居荒郊野嶺守林人離奇死亡泊业,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,536評論 2 332
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了啊易。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片吁伺。...
    茶點故事閱讀 39,696評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖租谈,靈堂內(nèi)的尸體忽然破棺而出篮奄,到底是詐尸還是另有隱情,我是刑警寧澤割去,帶...
    沈念sama閱讀 35,413評論 5 343
  • 正文 年R本政府宣布窟却,位于F島的核電站,受9級特大地震影響呻逆,放射性物質(zhì)發(fā)生泄漏夸赫。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,008評論 3 325
  • 文/蒙蒙 一咖城、第九天 我趴在偏房一處隱蔽的房頂上張望茬腿。 院中可真熱鬧,春花似錦酒繁、人聲如沸滓彰。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,659評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽揭绑。三九已至,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間他匪,已是汗流浹背菇存。 一陣腳步聲響...
    開封第一講書人閱讀 32,815評論 1 269
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留邦蜜,地道東北人依鸥。 一個月前我還...
    沈念sama閱讀 47,698評論 2 368
  • 正文 我出身青樓,卻偏偏與公主長得像悼沈,于是被迫代替她去往敵國和親贱迟。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 44,592評論 2 353

推薦閱讀更多精彩內(nèi)容