一個(gè)文件占用內(nèi)存大小為5G x 64B = 320G，遠(yuǎn)大于實(shí)際內(nèi)存4G偏灿，不能一次性載入內(nèi)存丹诀。
把每個(gè)文件中的url進(jìn)行hash(url)%1000，各得到1000個(gè)小文件菩混，每個(gè)大約300MB
hash具有一個(gè)性質(zhì)忿墅，哈希值相同的url不一定相同，但相同的url哈希之后的結(jié)果必定相同沮峡。
于是只需逐個(gè)分析兩個(gè)文件的1000個(gè)小文件中對(duì)應(yīng)小文件的結(jié)果疚脐，然后合并結(jié)果即可。
具體可以把一個(gè)小文件的url放進(jìn)hash_set里邢疙，然后看另一個(gè)小文件的url在不在這個(gè)hahs_set里
兩個(gè)文件各有50億個(gè)url，每個(gè)url各64字節(jié)杭抠，內(nèi)存限制是4G脸甘，找出其中共同的url
最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
- 文/潘曉璐 我一進(jìn)店門儒陨，熙熙樓的掌柜王于貴愁眉苦臉地迎上來花嘶，“玉大人，你說我怎么就攤上這事蹦漠⊥衷保” “怎么了？”我有些...
- 文/不壞的土叔 我叫張陵笛园，是天一觀的道長(zhǎng)隘击。 經(jīng)常有香客問我，道長(zhǎng)研铆，這世上最難降的妖魔是什么埋同？ 我笑而不...
- 正文 為了忘掉前任，我火速辦了婚禮棵红，結(jié)果婚禮上莺禁，老公的妹妹穿的比我還像新娘。我一直安慰自己窄赋，他們只是感情好，可當(dāng)我...
- 文/花漫 我一把揭開白布楼熄。 她就那樣靜靜地躺著忆绰，像睡著了一般。 火紅的嫁衣襯著肌膚如雪可岂。 梳的紋絲不亂的頭發(fā)上错敢，一...
- 文/蒼蘭香墨 我猛地睜開眼绘面，長(zhǎng)吁一口氣：“原來是場(chǎng)噩夢(mèng)啊……” “哼欺税！你這毒婦竟也來了侈沪？” 一聲冷哼從身側(cè)響起，我...
- 序言：老撾萬(wàn)榮一對(duì)情侶失蹤晚凿，失蹤者是張志新（化名）和其女友劉穎亭罪，沒想到半個(gè)月后，有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體歼秽，經(jīng)...
- 正文 獨(dú)居荒郊野嶺守林人離奇死亡应役，尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
- 正文 我和宋清朗相戀三年，在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了燥筷。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片箩祥。...
- 正文 年R本政府宣布盲泛，位于F島的核電站，受9級(jí)特大地震影響键耕，放射性物質(zhì)發(fā)生泄漏寺滚。R本人自食惡果不足惜，卻給世界環(huán)境...
- 文/蒙蒙 一屈雄、第九天 我趴在偏房一處隱蔽的房頂上張望村视。 院中可真熱鬧，春花似錦酒奶、人聲如沸蚁孔。這莊子的主人今日做“春日...
- 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)杠氢。三九已至，卻和暖如春另伍，著一層夾襖步出監(jiān)牢的瞬間鼻百，已是汗流浹背。 一陣腳步聲響...
- 正文 我出身青樓堕汞，卻偏偏與公主長(zhǎng)得像勺爱，于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子讯检，可洞房花燭夜當(dāng)晚...
推薦閱讀更多精彩內(nèi)容
- 教你如何迅速秒殺掉：99%的海量數(shù)據(jù)處理面試題 本文經(jīng)過大量細(xì)致的優(yōu)化后邻寿，收錄于我的新書《編程之法》第六章中蝎土，新書...
- 1. Java基礎(chǔ)部分 基礎(chǔ)部分的順序：基本語(yǔ)法，類相關(guān)的語(yǔ)法绣否，內(nèi)部類的語(yǔ)法誊涯，繼承相關(guān)的語(yǔ)法，異常的語(yǔ)法蒜撮，線程的語(yǔ)...
- 第一部分暴构、十道海量數(shù)據(jù)處理面試題 1、海量日志數(shù)據(jù)段磨，提取出某日訪問百度次數(shù)最多的那個(gè)IP取逾。 此題，在我之前的一篇文...
- Part 1 原文：“I was asked if I would come and talk about wri...
