【面試現(xiàn)場】(2)如何判斷一個數(shù)是否在40億個整數(shù)中纱兑?

題目:我有40億個整數(shù)呀闻,再給一個新的整數(shù),我需要判斷新的整數(shù)是否在40億個整數(shù)中潜慎,你會怎么做捡多?

為什么我說分8次加載數(shù)據(jù)太慢了呢?

從磁盤加載數(shù)據(jù)是磁盤io操作铐炫,是非常慢的局服,你每次都要加載這么大的數(shù)據(jù),還要8次驳遵,我估計你找一個數(shù)的時間可以達到分鐘甚至小時級了。

把數(shù)據(jù)分散在8臺機器上山涡,然后來一個新的數(shù)據(jù)堤结,8臺機器一起找,最后再匯總結(jié)果就行了鸭丛。

【更好毫秒級方法】

小史:申請40億個位就好了竞穷,新的數(shù)轉(zhuǎn)換成一個位,然后判斷一下這個位是0還是1就行了鳞溉。

呂老師:小史啊瘾带,考慮問題要考慮清楚啊,如果是40億個位熟菲,那么這40億個位哪些是0看政,哪些是1呢?來了一個新的數(shù)抄罕,怎么判斷是否在40億個位之中允蚣?

小史:我想想,對啊呆贿,40億個位嚷兔,40億個數(shù)森渐,那么每個位都是1,這冒晰。同衣。。

呂老師:32位int的范圍壶运,總共就是2的32次方耐齐,大概42億多點。所以你可以申請2的32次方個位前弯。

小史:意思是我把整個整數(shù)范圍都覆蓋了蚪缀,哦,對哦恕出。這樣一來询枚,就可以做了,1代表第一個位浙巫,2代表第二個位金蜀,2的32次方代表最后一個位。40億個數(shù)中的畴,存在的數(shù)就在相應(yīng)的位置1渊抄,其他位就是0。

小史:新的數(shù)就去找相應(yīng)的位丧裁,比如來了一個1234护桦,就找一下第1234位,如果是1就存在煎娇,是0就不存在啦二庵。2的32次方個位,相當(dāng)于2的29次方個字節(jié)缓呛,哇催享,才500MB,真是節(jié)省了不少內(nèi)存呢哟绊。

大數(shù)據(jù)算法因妙,叫位圖法,英文名叫bitmap票髓。用位來表示狀態(tài)攀涵,從而節(jié)省空間

另一個方法:

32位int的范圍是42億炬称,40億整數(shù)中肯定有一些是連續(xù)的汁果,先外部排序,用一個初始的數(shù)和一個長度構(gòu)成一個數(shù)據(jù)結(jié)構(gòu)玲躯,來表示一段連續(xù)的數(shù)据德,舉個例子鳄乏。

1 2 3 4 6 7用(1,4)和(6,2)表示,變成了2個數(shù)表示棘利。來新數(shù)用二分法查找橱野。

最差情況就是2億多的斷點,也就是2億多的結(jié)構(gòu)體善玫,每個結(jié)構(gòu)體8個字節(jié)水援,大概16億字節(jié),1.6GB茅郎,在內(nèi)存中可以放下蜗元。

給出了方案,還能主動分析空間和可行性系冗。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末奕扣,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子掌敬,更是在濱河造成了極大的恐慌惯豆,老刑警劉巖,帶你破解...
    沈念sama閱讀 211,948評論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件奔害,死亡現(xiàn)場離奇詭異楷兽,居然都是意外死亡,警方通過查閱死者的電腦和手機华临,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,371評論 3 385
  • 文/潘曉璐 我一進店門芯杀,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人雅潭,你說我怎么就攤上這事瘪匿。” “怎么了寻馏?”我有些...
    開封第一講書人閱讀 157,490評論 0 348
  • 文/不壞的土叔 我叫張陵,是天一觀的道長核偿。 經(jīng)常有香客問我诚欠,道長,這世上最難降的妖魔是什么漾岳? 我笑而不...
    開封第一講書人閱讀 56,521評論 1 284
  • 正文 為了忘掉前任轰绵,我火速辦了婚禮,結(jié)果婚禮上尼荆,老公的妹妹穿的比我還像新娘左腔。我一直安慰自己,他們只是感情好捅儒,可當(dāng)我...
    茶點故事閱讀 65,627評論 6 386
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著殴泰,像睡著了一般映挂。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上坊秸,一...
    開封第一講書人閱讀 49,842評論 1 290
  • 那天,我揣著相機與錄音澎怒,去河邊找鬼褒搔。 笑死,一個胖子當(dāng)著我的面吹牛喷面,可吹牛的內(nèi)容都是我干的星瘾。 我是一名探鬼主播,決...
    沈念sama閱讀 38,997評論 3 408
  • 文/蒼蘭香墨 我猛地睜開眼惧辈,長吁一口氣:“原來是場噩夢啊……” “哼琳状!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起咬像,我...
    開封第一講書人閱讀 37,741評論 0 268
  • 序言:老撾萬榮一對情侶失蹤算撮,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后县昂,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體肮柜,經(jīng)...
    沈念sama閱讀 44,203評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,534評論 2 327
  • 正文 我和宋清朗相戀三年倒彰,在試婚紗的時候發(fā)現(xiàn)自己被綠了审洞。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 38,673評論 1 341
  • 序言:一個原本活蹦亂跳的男人離奇死亡待讳,死狀恐怖芒澜,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情创淡,我是刑警寧澤痴晦,帶...
    沈念sama閱讀 34,339評論 4 330
  • 正文 年R本政府宣布,位于F島的核電站琳彩,受9級特大地震影響誊酌,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜露乏,卻給世界環(huán)境...
    茶點故事閱讀 39,955評論 3 313
  • 文/蒙蒙 一碧浊、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧瘟仿,春花似錦箱锐、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,770評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽浩聋。三九已至,卻和暖如春幢哨,著一層夾襖步出監(jiān)牢的瞬間赡勘,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 32,000評論 1 266
  • 我被黑心中介騙來泰國打工捞镰, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留闸与,地道東北人。 一個月前我還...
    沈念sama閱讀 46,394評論 2 360
  • 正文 我出身青樓岸售,卻偏偏與公主長得像践樱,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子凸丸,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 43,562評論 2 349

推薦閱讀更多精彩內(nèi)容