布隆過濾器
不安全網頁的黑名單包含100億個黑名單網頁灵汪,每個網頁的URL最多占用64字節(jié),現(xiàn)在想要實現(xiàn)一種網頁過濾系統(tǒng)察纯,可以根據(jù)網頁的URL判斷該網頁是否在黑名單上闸拿,請設計該系統(tǒng)。
要求該系統(tǒng)允許有萬分之一以下的判斷失誤率亩歹,并且使用的額外空間不要超過30G匙监。
解決方法采用布隆過濾器
黑名單----存入>哈希表或者數(shù)據(jù)庫
數(shù)量:100億
單個url:64kB 那么應該需要640G的空間,不
符合要求小作。