海量數(shù)據(jù)處理践盼，就是在海量數(shù)據(jù)上的存儲、處理宾巍、操作咕幻。海量的意思就是數(shù)據(jù)量太大，所以導(dǎo)致要么是無法在較短時間內(nèi)迅速解決顶霞，要么是數(shù)據(jù)太大肄程，導(dǎo)致無法一次性裝入內(nèi)存。
解決辦法：針對時間选浑，我們可以采用巧妙的算法搭配合適的數(shù)據(jù)結(jié)構(gòu)蓝厌，如Bloom filter/Hash/bit-map/堆/數(shù)據(jù)庫或倒排索引/trie樹；針對空間古徒，可以大而化小拓提，分而治之（hash映射），規(guī)模太大的就把規(guī)模大化為規(guī)模小的隧膘，各個擊破不就完了嘛代态。
單機(jī)及集群問題，單機(jī)就是處理裝載數(shù)據(jù)的機(jī)器有限(只要考慮cpu疹吃，內(nèi)存蹦疑，硬盤的數(shù)據(jù)交互)，而集群互墓，機(jī)器有多輛必尼，適合分布式處理蒋搜，并行計算(更多考慮節(jié)點(diǎn)和節(jié)點(diǎn)間的數(shù)據(jù)交互)篡撵。
處理海量數(shù)據(jù)問題的辦法就是分而治之/hash映射 + hash統(tǒng)計 + 堆/快速/歸并排序判莉；雙層桶劃分；Bloom filter/Bitmap育谬；Trie樹/數(shù)據(jù)庫/倒排索引券盅；外排序；分布式處理之Hadoop/Mapreduce膛檀。
STL容器分兩種锰镀，序列式容器(vector/list/deque/stack/queue/heap)和關(guān)聯(lián)式容器。關(guān)聯(lián)式容器又分為set(集合)和map(映射表)兩大類咖刃，以及這兩大類的衍生體multiset(多鍵集合)和multimap(多鍵映射表)泳炉，這些容器均以RB-tree完成。此外嚎杨，還有第3類關(guān)聯(lián)式容器花鹅，如hashtable(散列表)，以及以hashtable為底層機(jī)制完成的hash_set(散列集合)/hash_map(散列映射表)/hash_multiset(散列多鍵集合)/hash_multimap(散列多鍵映射表)枫浙。也就是說刨肃，set/map/multiset/multimap都內(nèi)含一個RB-tree，而hash_set/hash_map/hash_multiset/hash_multimap都內(nèi)含一個hashtable箩帚。
什么樣的結(jié)構(gòu)決定其什么樣的性質(zhì)真友，因為set/map/multiset/multimap都是基于RB-tree之上，所以有自動排序功能紧帕，而hash_set/hash_map/hash_multiset/hash_multimap都是基于hashtable之上盔然，所以不含有自動排序功能，至于加個前綴multi_無非就是允許鍵值重復(fù)而已是嗜。
處理海量數(shù)據(jù)問題之六把密匙
密匙一：分而治之/Hash映射 + Hash_map統(tǒng)計 + 堆/快速/歸并排序
1轻纪、海量日志數(shù)據(jù)，提取出某日訪問百度次數(shù)最多的那個IP叠纷。海量數(shù)據(jù)處理刻帚，說白了，就是先映射涩嚣，而后統(tǒng)計崇众，最后排序：
分而治之/hash映射：針對數(shù)據(jù)太大，內(nèi)存受限，只能是：把大文件化成(取模映射)小文件齐邦，即16字方針：大而化小诫钓，各個擊破，縮小規(guī)模眯漩，逐個解決
hash_map統(tǒng)計：當(dāng)大文件轉(zhuǎn)化了小文件，那么我們便可以采用常規(guī)的hash_map(ip，value)來進(jìn)行頻率統(tǒng)計赦抖。
堆/快速排序：統(tǒng)計完了之后舱卡，便進(jìn)行排序(可采取堆排序)，得到次數(shù)最多的IP队萤。
具體而論轮锥，則是：“首先是這一天，并且是訪問百度的日志中的IP取出來要尔，逐個寫入到一個大文件中舍杜。注意到IP是32位的，最多有個2^32個IP赵辕。同樣可以采用映射的方法既绩，比如%1000，把整個大文件映射為1000個小文件还惠，再找出每個小文中出現(xiàn)頻率最大的IP（可以采用hash_map對那1000個文件中的所有IP進(jìn)行頻率統(tǒng)計熬词，然后依次找出各個文件中頻率最大的那個IP）及相應(yīng)的頻率。然后再在這1000個最大的IP中吸重，找出那個頻率最大的IP互拾，即為所求『啃遥”關(guān)于本題颜矿，還有幾個問題，如下：
1嫉晶、Hash取模是一種等價映射骑疆，不會存在同一個元素分散到不同小文件中的情況，即這里采用的是mod1000算法替废，那么相同的IP在hash取模后箍铭，只可能落在同一個文件中，不可能被分散的椎镣。因為如果兩個IP相等诈火，那么經(jīng)過Hash(IP)之后的哈希值是相同的，將此哈希值取模（如模1000）状答，必定仍然相等冷守。
2、那到底什么是hash映射呢惊科？簡單來說拍摇，就是為了便于計算機(jī)在有限的內(nèi)存中處理big數(shù)據(jù)，從而通過一種映射散列的方式讓數(shù)據(jù)均勻分布在對應(yīng)的內(nèi)存位置(如 大數(shù)據(jù) 通過取余的方式映射成小樹存放在內(nèi)存中馆截，或大文件映射成多個小文件)充活，而這個映射散列方式便是我們通常所說的hash函數(shù)，設(shè)計的好的hash函數(shù)能讓數(shù)據(jù)均勻分布而減少沖突。盡管數(shù)據(jù)映射到了另外一些不同的位置混卵，但數(shù)據(jù)還是原來的數(shù)據(jù)映穗，只是代替和表示這些原始數(shù)據(jù)的形式發(fā)生了變化而已。
2淮菠、尋找熱門查詢男公，300萬個查詢字符串中統(tǒng)計最熱門的10個查詢
原題：搜索引擎會通過日志文件把用戶每次檢索使用的所有檢索串都記錄下來荤堪，每個查詢串的長度為1-255字節(jié)合陵。假設(shè)目前有一千萬個記錄（這些查詢串的重復(fù)度比較高，雖然總數(shù)是1千萬澄阳，但如果除去重復(fù)后拥知，不超過3百萬個。一個查詢串的重復(fù)度越高碎赢，說明查詢它的用戶越多低剔，也就是越熱門），請你統(tǒng)計最熱門的10個查詢串肮塞，要求使用的內(nèi)存不能超過1G襟齿。
解答：由上面第1題，我們知道枕赵，數(shù)據(jù)大則劃為小的猜欺，如如一億個Ip求Top 10，可先%1000將ip分到1000個小文件中去拷窜，并保證一種ip只出現(xiàn)在一個文件中开皿，再對每個小文件中的ip進(jìn)行hashmap計數(shù)統(tǒng)計并按數(shù)量排序，最后歸并或者最小堆依次處理每個小文件的top10以得到最后的結(jié)篮昧。
但如果數(shù)據(jù)規(guī)模比較小赋荆，能一次性裝入內(nèi)存呢?比如這第2題，雖然有一千萬個Query懊昨，但是由于重復(fù)度比較高窄潭，因此事實上只有300萬的Query，每個Query255Byte酵颁，因此我們可以考慮把他們都放進(jìn)內(nèi)存中去（300萬個字符串假設(shè)沒有重復(fù)狈孔，都是最大長度，那么最多占用內(nèi)存3M*1K/4=0.75G材义。所以可以將所有字符串都存放在內(nèi)存中進(jìn)行處理）均抽，而現(xiàn)在只是需要一個合適的數(shù)據(jù)結(jié)構(gòu)，在這里其掂，HashTable絕對是我們優(yōu)先的選擇油挥。
所以我們放棄分而治之/hash映射的步驟，直接上hash統(tǒng)計，然后排序深寥。So攘乒，針對此類典型的TOP K問題，采取的對策往往是：hashmap + 堆惋鹅。如下所示：
hash_map統(tǒng)計：先對這批海量數(shù)據(jù)預(yù)處理则酝。具體方法是：維護(hù)一個Key為Query字串，Value為該Query出現(xiàn)次數(shù)的HashTable闰集，即hash_map(Query沽讹，Value)，每次讀取一個Query武鲁，如果該字串不在Table中爽雄，那么加入該字串，并且將Value值設(shè)為1沐鼠；如果該字串在Table中挚瘟，那么將該字串的計數(shù)加一即可。最終我們在O(N)的時間復(fù)雜度內(nèi)用Hash表完成了統(tǒng)計饲梭；
堆排序：第二步乘盖、借助堆這個數(shù)據(jù)結(jié)構(gòu)，找出Top K憔涉，時間復(fù)雜度為N‘logK订框。即借助堆結(jié)構(gòu)，我們可以在log量級的時間內(nèi)查找和調(diào)整/移動监氢。因此布蔗，維護(hù)一個K(該題目中是10)大小的小根堆，然后遍歷300萬的Query浪腐，分別和根元素進(jìn)行對比纵揍。所以，我們最終的時間復(fù)雜度是：O（N） + N’ * O（logK）议街，（N為1000萬泽谨，N’為300萬）。
當(dāng)然特漩，你也可以采用trie樹吧雹，關(guān)鍵字域存該查詢串出現(xiàn)的次數(shù)，沒有出現(xiàn)為0涂身。最后用10個元素的最小推來對出現(xiàn)頻率進(jìn)行排序雄卷。
3、有一個1G大小的一個文件蛤售，里面每一行是一個詞丁鹉，詞的大小不超過16字節(jié)妒潭，內(nèi)存限制大小是1M。返回頻數(shù)最高的100個詞揣钦。
由上面那兩個例題雳灾，分而治之+ hash統(tǒng)計 + 堆/快速排序這個套路，我們已經(jīng)開始有了屢試不爽的感覺冯凹。下面谎亩，再拿幾道再多多驗證下。請看此第3題：又是文件很大宇姚，又是內(nèi)存受限匈庭，咋辦?還能怎么辦呢?無非還是：
分而治之/hash映射：順序讀文件中，對于每個詞x空凸，取hash(x)%5000嚎花，然后按照該值存到5000個小文件（記為x0,x1,…x4999）中寸痢。這樣每個文件大概是200k左右呀洲。如果其中的有的文件超過了1M大小，還可以按照類似的方法繼續(xù)往下分啼止，直到分解得到的小文件的大小都不超過1M道逗。
hash_map統(tǒng)計：對每個小文件，采用trie樹/hash_map等統(tǒng)計每個文件中出現(xiàn)的詞以及相應(yīng)的頻率献烦。
堆/歸并排序：取出出現(xiàn)頻率最大的100個詞（可以用含100個結(jié)點(diǎn)的最小堆）后滓窍，再把100個詞及相應(yīng)的頻率存入文件，這樣又得到了5000個文件巩那。最后就是把這5000個文件進(jìn)行歸并（類似于歸并排序）的過程了吏夯。
密匙二：多層劃分
多層劃分—-本質(zhì)還是分而治之的思想，重在“分”的技巧上即横！
適用范圍：第k大噪生，中位數(shù)，不重復(fù)或重復(fù)的數(shù)字
基本原理及要點(diǎn)：因為元素范圍很大东囚，不能利用直接尋址表跺嗽，所以通過多次劃分，逐步確定范圍页藻，然后最后在一個可以接受的范圍內(nèi)進(jìn)行桨嫁。
問題實例：
4、2.5億個整數(shù)中找出不重復(fù)的整數(shù)的個數(shù)份帐，內(nèi)存空間不足以容納這2.5億個整數(shù)璃吧。
有點(diǎn)像鴿巢原理，整數(shù)個數(shù)為2^32,也就是废境，我們可以將這2^32個數(shù)畜挨，劃分為2^8個區(qū)域(比如用單個文件代表一個區(qū)域)爷辙，然后將數(shù)據(jù)分離到不同的區(qū)域，然后不同的區(qū)域在利用bitmap就可以直接解決了朦促。也就是說只要有足夠的磁盤空間膝晾，就可以很方便的解決。
5务冕、5億個int找它們的中位數(shù)血当。
這個例子比上面那個更明顯。首先我們將int劃分為2^16個區(qū)域禀忆，然后讀取數(shù)據(jù)統(tǒng)計落到各個區(qū)域里的數(shù)的個數(shù)臊旭，之后我們根據(jù)統(tǒng)計結(jié)果就可以判斷中位數(shù)落到那個區(qū)域，同時知道這個區(qū)域中的第幾大數(shù)剛好是中位數(shù)箩退。然后第二次掃描我們只統(tǒng)計落在這個區(qū)域中的那些數(shù)就可以了离熏。
實際上，如果不是int是int64戴涝，我們可以經(jīng)過3次這樣的劃分即可降低到可以接受的程度滋戳。即可以先將int64分成2^24個區(qū)域，然后確定區(qū)域的第幾大數(shù)啥刻，在將該區(qū)域分成2^20個子區(qū)域奸鸯，然后確定是子區(qū)域的第幾大數(shù)，然后子區(qū)域里的數(shù)的個數(shù)只有2^20可帽，就可以直接利用direct addr table進(jìn)行統(tǒng)計了娄涩。
密匙三：Bloom filter/Bitmap
Bloom filter
適用范圍：可以用來實現(xiàn)數(shù)據(jù)字典，進(jìn)行數(shù)據(jù)的判重映跟，或者集合求交集
基本原理及要點(diǎn)：
對于原理來說很簡單蓄拣，位數(shù)組+k個獨(dú)立hash函數(shù)。將hash函數(shù)對應(yīng)的值的位數(shù)組置1努隙，查找時如果發(fā)現(xiàn)所有hash函數(shù)對應(yīng)位都是1說明存在球恤，很明顯這個過程并不保證查找的結(jié)果是100%正確的。同時也不支持刪除一個已經(jīng)插入的關(guān)鍵字剃法，因為該關(guān)鍵字對應(yīng)的位會牽動到其他的關(guān)鍵字碎捺。所以一個簡單的改進(jìn)就是 counting Bloom filter，用一個counter數(shù)組代替位數(shù)組贷洲，就可以支持刪除了收厨。
如何根據(jù)輸入元素個數(shù)n，確定位數(shù)組m的大小及hash函數(shù)個數(shù)也是一個很重要的問題优构。當(dāng)hash函數(shù)個數(shù)k=(ln2)*(m/n)時錯誤率最小诵叁。在錯誤率不大于E的情況下，m至少要等于n*lg(1/E)才表示任意n個元素的集合钦椭。但m還應(yīng)該更大些拧额，因為還要保證bit數(shù)組里至少一半為0碑诉，則m應(yīng)該>=nlg(1/E)*lge 大概就是nlg(1/E)1.44倍(lg表示以2為底的對數(shù))。
舉個例子我們假設(shè)錯誤率為0.01侥锦，則此時m應(yīng)大概是n的13倍进栽。這樣k大概是8個。
注意這里m與n的單位不同恭垦，m是bit為單位快毛，而n則是以元素個數(shù)為單位(準(zhǔn)確的說是不同元素的個數(shù))。通常單個元素的長度都是有很多bit的番挺。所以使用bloom filter內(nèi)存上通常都是節(jié)省的唠帝。
密匙四：Trie樹/數(shù)據(jù)庫/倒排索引
Trie樹
適用范圍：數(shù)據(jù)量大，重復(fù)多玄柏，但是數(shù)據(jù)種類小可以放入內(nèi)存
基本原理及要點(diǎn)：實現(xiàn)方式襟衰，節(jié)點(diǎn)孩子的表示方式
擴(kuò)展：壓縮實現(xiàn)。
數(shù)據(jù)庫索引
適用范圍：大數(shù)據(jù)量的增刪改查
基本原理及要點(diǎn)：利用數(shù)據(jù)的設(shè)計實現(xiàn)方法粪摘，對海量數(shù)據(jù)的增刪改查進(jìn)行處理瀑晒。
倒排索引(Inverted index)
適用范圍：搜索引擎，關(guān)鍵字查詢
基本原理及要點(diǎn)：為何叫倒排索引赶熟？一種索引方法瑰妄，被用來存儲在全文搜索下某個單詞在一個文檔或者一組文檔中的存儲位置的映射陷嘴。
以英文為例映砖，下面是要被索引的文本：
T0 = “it is what it is”
T1 = “what is it”
T2 = “it is a banana”
我們就能得到下面的反向文件索引：
“a”: ?????{2}
“banana”: {2}
“is”: ????{0, 1, 2}
“it”: ????{0, 1, 2}
“what”: ??{0, 1}
檢索的條件”what”,”is”和”it”將對應(yīng)集合的交集。
正向索引開發(fā)出來用來存儲每個文檔的單詞的列表灾挨。正向索引的查詢往往滿足每個文檔有序頻繁的全文查詢和每個單詞在校驗文檔中的驗證這樣的查詢邑退。在正向索引中，文檔占據(jù)了中心的位置劳澄，每個文檔指向了一個它所包含的索引項的序列地技。也就是說文檔指向了它包含的那些單詞，而反向索引則是單詞指向了包含它的文檔秒拔，很容易看到這個反向的關(guān)系莫矗。
密匙五、外排序
適用范圍：大數(shù)據(jù)的排序砂缩，去重
基本原理及要點(diǎn)：外排序的歸并方法作谚，置換選擇敗者樹原理，最優(yōu)歸并樹
問題實例：
1).有一個1G大小的一個文件庵芭，里面每一行是一個詞妹懒，詞的大小不超過16個字節(jié)，內(nèi)存限制大小是1M双吆。返回頻數(shù)最高的100個詞眨唬。
這個數(shù)據(jù)具有很明顯的特點(diǎn)会前，詞的大小為16個字節(jié)，但是內(nèi)存只有1M做hash明顯不夠匾竿，所以可以用來排序瓦宜。內(nèi)存可以當(dāng)輸入緩沖區(qū)使用。
密匙六：分布式處理之Mapreduce
MapReduce是一種計算模型岭妖，簡單的說就是將大批量的工作（數(shù)據(jù)）分解（MAP）執(zhí)行歉提，然后再將結(jié)果合并成最終結(jié)果（REDUCE）。這樣做的好處是可以在任務(wù)被分解后区转，可以通過大量機(jī)器進(jìn)行并行計算苔巨，減少整個操作的時間。但如果你要我再通俗點(diǎn)介紹废离，那么侄泽，說白了，Mapreduce的原理就是一個歸并排序蜻韭。
適用范圍：數(shù)據(jù)量大悼尾，但是數(shù)據(jù)種類小可以放入內(nèi)存
基本原理及要點(diǎn)：將數(shù)據(jù)交給不同的機(jī)器去處理，數(shù)據(jù)劃分肖方，結(jié)果歸約闺魏。
問題實例：
The canonical example application of MapReduce is a process to count the appearances of each different word in a set of documents:
海量數(shù)據(jù)分布在100臺電腦中，想個辦法高效統(tǒng)計出這批數(shù)據(jù)的TOP10俯画。
一共有N個機(jī)器析桥，每個機(jī)器上有N個數(shù)。每個機(jī)器最多存O(N)個數(shù)并對它們操作艰垂。如何找到N^2個數(shù)的中數(shù)(median)泡仗？
本文題目為秒殺99%的海量數(shù)據(jù)處理面試題，而不是100%呢猜憎。OK娩怎，給讀者看最后一道題，如下：
非常大的文件胰柑，裝不進(jìn)內(nèi)存截亦。每行一個int類型數(shù)據(jù)，現(xiàn)在要你隨機(jī)取100個數(shù)柬讨。
我們發(fā)現(xiàn)上述這道題崩瓤，無論是以上任何一種模式/方法都不好做，那有什么好的別的方法呢姐浮？我們可以看看：操作系統(tǒng)內(nèi)存分頁系統(tǒng)設(shè)計(說白了谷遂，就是映射+建索引)。
Windows 2000使用基于分頁機(jī)制的虛擬內(nèi)存卖鲤。每個進(jìn)程有4GB的虛擬地址空間肾扰〕胨唬基于分頁機(jī)制，這4GB地址空間的一些部分被映射了物理內(nèi)存集晚，一些部分映射硬盤上的交換文 件窗悯，一些部分什么也沒有映射。程序中使用的都是4GB地址空間中的虛擬地址偷拔。而訪問物理內(nèi)存蒋院，需要使用物理地址。 關(guān)于什么是物理地址和虛擬地址莲绰，請看：
物理地址(physical address): 放在尋址總線上的地址欺旧。放在尋址總線上，如果是讀蛤签，電路根據(jù)這個地址每位的值就將相應(yīng)地址的物理內(nèi)存中的數(shù)據(jù)放到數(shù)據(jù)總線中傳輸辞友。如果是寫，電路根據(jù)這個 地址每位的值就將相應(yīng)地址的物理內(nèi)存中放入數(shù)據(jù)總線上的內(nèi)容震肮。物理內(nèi)存是以字節(jié)(8位)為單位編址的称龙。
虛擬地址(virtual address): 4G虛擬地址空間中的地址，程序中使用的都是虛擬地址戳晌。 使用了分頁機(jī)制之后鲫尊，4G的地址空間被分成了固定大小的頁，每一頁或者被映射到物理內(nèi)存沦偎，或者被映射到硬盤上的交換文件中疫向，或者沒有映射任何東西。對于一 般程序來說扛施，4G的地址空間鸿捧，只有一小部分映射了物理內(nèi)存，大片大片的部分是沒有映射任何東西疙渣。物理內(nèi)存也被分頁，來映射地址空間堆巧。對于32bit的 Win2k妄荔，頁的大小是4K字節(jié)。CPU用來把虛擬地址轉(zhuǎn)換成物理地址的信息存放在叫做頁目錄和頁表的結(jié)構(gòu)里谍肤。
物理內(nèi)存分頁啦租，一個物理頁的大小為4K字節(jié)，第0個物理頁從物理地址 0x00000000 處開始荒揣。由于頁的大小為4KB篷角，就是0x1000字節(jié)，所以第1頁從物理地址 0x00001000 處開始系任。第2頁從物理地址 0x00002000 處開始恳蹲∨翱椋可以看到由于頁的大小是4KB，所以只需要32bit的地址中高20bit來尋址物理頁嘉蕾。
返回上面我們的題目：非常大的文件贺奠，裝不進(jìn)內(nèi)存。每行一個int類型數(shù)據(jù)错忱，現(xiàn)在要你隨機(jī)取100個數(shù)儡率。針對此題，我們可以借鑒上述操作系統(tǒng)中內(nèi)存分頁的設(shè)計方法以清，做出如下解決方案：
操作系統(tǒng)中的方法儿普，先生成4G的地址表，在把這個表劃分為小的4M的小文件做個索引掷倔，二級索引箕肃。30位前十位表示第幾個4M文件，后20位表示在這個4M文件的第幾個今魔，等等勺像，基于key value來設(shè)計存儲，用key來建索引错森。
但如果現(xiàn)在只有10000個數(shù)吟宦，然后怎么去隨機(jī)從這一萬個數(shù)里面隨機(jī)取100個數(shù)？請讀者思考涩维。
