隨著存儲(chǔ)數(shù)據(jù)信息量的飛速增長麦箍，越來越多的人開始關(guān)注存儲(chǔ)數(shù)據(jù)的縮減方法漓藕。數(shù)據(jù)壓縮、單實(shí)例存儲(chǔ)和重復(fù)數(shù)據(jù)刪除等都是經(jīng)常使用的存儲(chǔ)數(shù)據(jù)縮減技術(shù)挟裂。
重復(fù)數(shù)據(jù)刪除往往是指消除冗余子文件享钞。不同于壓縮，重復(fù)數(shù)據(jù)刪除對于數(shù)據(jù)本身并沒有改變诀蓉，只是消除了相同的數(shù)據(jù)占用的存儲(chǔ)容量栗竖。重復(fù)數(shù)據(jù)刪除在減少存儲(chǔ)、降低網(wǎng)絡(luò)帶寬方面有著顯著的優(yōu)勢渠啤，并對擴(kuò)展性有所幫助狐肢。
舉個(gè)簡單的例子：在專門為電信運(yùn)營商定制的呼叫詳單去重應(yīng)用程序中，我們就可以看到刪除重復(fù)數(shù)據(jù)的影子沥曹。同樣的份名，對于包含相同數(shù)據(jù)包的通信網(wǎng)絡(luò)碟联，我們可以使用這種技術(shù)來進(jìn)行優(yōu)化。
在存儲(chǔ)架構(gòu)中僵腺，刪除重復(fù)數(shù)據(jù)的一些常用的方法包括：哈希鲤孵、二進(jìn)制比較和增量差分。在HadoopSphere這篇文章中辰如，將專注于如何利用MapReduce和HDFS來消除重復(fù)的數(shù)據(jù)普监。（下面列出的方法中包括一些學(xué)者的實(shí)驗(yàn)方法，因此把術(shù)語定義為策略比較合適）琉兜。
策略1：只使用HDFS和MapReduce
Owen O’Malley在一個(gè)論壇的帖子中建議使用以下方法：
讓你的歷史數(shù)據(jù)按照MD5值進(jìn)行排序凯正。 運(yùn)行一個(gè)MapReduce的作業(yè)，將你的新數(shù)據(jù)按照MD5進(jìn)行排序豌蟋。需要注意的是：你要做所有數(shù)據(jù)的整體排序漆际，但因?yàn)镸D5是在整個(gè)密鑰空間中是均勻分布的，排序就變得很容易夺饲。
基本上奸汇，你挑選一個(gè)reduce作業(yè)的數(shù)量（如256），然后取MD5值的前N位數(shù)據(jù)來進(jìn)行你的reduce作業(yè)往声。由于這項(xiàng)作業(yè)只處理你的新數(shù)據(jù)擂找，這是非常快的浩销。 接下來你需要進(jìn)行一個(gè)map-side join贯涎，每一個(gè)合并的輸入分塊都包含一個(gè)MD5值的范圍。RecordReader讀取歷史的和新的數(shù)據(jù)集慢洋，并將它們按照一定方式合并塘雳。（你可以使用map-side join庫）。你的map將新數(shù)據(jù)和舊數(shù)據(jù)合并普筹。這里僅僅是一個(gè)map作業(yè)败明，所以這也非常快太防。
當(dāng)然妻顶，如果新的數(shù)據(jù)足夠小，你可以在每一個(gè)map作業(yè)中將其讀入蜒车，并且保持新記錄（在RAM中做了排序）在合適的數(shù)量范圍內(nèi)讳嘱，這樣就可以在RAM中執(zhí)行合并。這可以讓你避免為新數(shù)據(jù)進(jìn)行排序的步驟酿愧。類似于這種合并的優(yōu)化沥潭，正是Pig和Hive中對開發(fā)人員隱藏的大量細(xì)節(jié)部分。
策略2：使用HDFS和Hbase
在一篇名為“工程云系統(tǒng)中一種新穎的刪除重復(fù)數(shù)據(jù)技術(shù)”的論文中嬉挡，Zhe Sun, Jun Shen, Jianming Young共同提出了一種使用HDFS和Hbase的方法钝鸽，內(nèi)容如下：
使用MD5和SHA-1哈希函數(shù)計(jì)算文件的哈希值呼渣，然后將值傳遞給Hbase
將新的哈希值與現(xiàn)有的值域比較，如果新值已經(jīng)存在于Hbase去重復(fù)表中寞埠，HDFS會(huì)檢查鏈接的數(shù)量，如果數(shù)量不為零時(shí)焊夸，哈希值對應(yīng)的計(jì)數(shù)器將增加1仁连。如果數(shù)量是零或哈希值在之前的去重復(fù)表中不存在，HDFS會(huì)要求客戶端上傳文件并更新文件的邏輯路徑阱穗。
HDFS將存儲(chǔ)由用戶上傳的源文件饭冬，以及相應(yīng)的鏈接文件，這些鏈接文件是自動(dòng)生成的揪阶。鏈接文件中記錄了源文件的哈希值和源文件的邏輯路徑昌抠。
要注意使用這種方法中的一些關(guān)鍵點(diǎn)：
文件級的重復(fù)數(shù)據(jù)刪除需要保持索引數(shù)量盡可能小，這樣可以有高效的查找效率鲁僚。
MD5和SHA-1需要結(jié)合使用從而避免偶發(fā)性的碰撞炊苫。
策略3：使用HDFS，MapReduce和存儲(chǔ)控制器
由Netapp的工程師AshishKathpal冰沙、GauravMakkar以及Mathew John三人聯(lián)合侨艾，在一篇名為“在后期處理重復(fù)數(shù)據(jù)刪除的分布式重復(fù)檢測方式”的文章中，提出通過使用HadoopMapReduce的重復(fù)檢測機(jī)制來替代Netapp原有的重復(fù)檢測環(huán)節(jié)拓挥，文中提到的基于重復(fù)檢測的Hadoop工作流包含如下幾個(gè)環(huán)節(jié)：
將數(shù)據(jù)指紋（Fingerprint）由存儲(chǔ)控制器遷移到HDFS
生成數(shù)據(jù)指紋數(shù)據(jù)庫唠梨，并在HDFS上永久存儲(chǔ)該數(shù)據(jù)庫
使用MapReduce從數(shù)據(jù)指紋記錄集中篩選出重復(fù)記錄，并將去重復(fù)后的數(shù)據(jù)指紋表保存回存儲(chǔ)控制器侥啤。
數(shù)據(jù)指紋是指存儲(chǔ)系統(tǒng)中文件塊經(jīng)過計(jì)算后的哈希索引当叭，通常來說數(shù)據(jù)指紋要比它代表的數(shù)據(jù)塊體積小的多，這樣就可以減少分布式檢測時(shí)網(wǎng)絡(luò)中的數(shù)據(jù)傳輸量盖灸。
策略4：使用Streaming蚁鳖，HDFS，MapReduce
對于Hadoop和Streaming的應(yīng)用集成赁炎，基本上包含兩種可能的場景才睹。以IBM Infosphere Streams和BigInsights集成為例，場景應(yīng)該是：
1. Streams到Hadoop的流程：通過控制流程甘邀，將Hadoop MapReduce模塊作為數(shù)據(jù)流分析的一部分琅攘，對于Streams的操作需要對更新的數(shù)據(jù)進(jìn)行檢查并去重，并可以驗(yàn)證MapReduce模型的正確性松邪。
眾所周知坞琴，在數(shù)據(jù)攝入的時(shí)候?qū)?shù)據(jù)進(jìn)行去重復(fù)是最有效的，因此在Infosphere Streams中對于某個(gè)特定時(shí)間段或者數(shù)量的記錄會(huì)進(jìn)行去重復(fù)逗抑，或者識別出記錄的增量部分剧辐。接著寒亥，經(jīng)過去重的數(shù)據(jù)將會(huì)發(fā)送給Hadoop BigInsights用于新模型的建立。
2. Hadoop到Streams的流程：在這種方式中荧关，Hadoop MapReduce用于移除歷史數(shù)據(jù)中的重復(fù)數(shù)據(jù)溉奕，之后MapReduce模型將會(huì)更新。MapReduce模型作為Streams中的一部分被集成忍啤，針對mid-stream配置一個(gè)操作符（operator）加勤，從而對傳入的數(shù)據(jù)進(jìn)行處理。
策略5：結(jié)合塊技術(shù)使用MapReduce
在萊比錫大學(xué)開發(fā)的一個(gè)原型工具Dedoop（Deduplication with Hadoop）中同波，MapReduce應(yīng)用于大數(shù)據(jù)中的實(shí)體解析處理鳄梅，到目前為止，這個(gè)工具囊括了MapReduce在重復(fù)數(shù)據(jù)刪除技術(shù)中最為成熟的應(yīng)用方式未檩。
基于實(shí)體匹配的分塊是指將輸入數(shù)據(jù)按照類似的數(shù)據(jù)進(jìn)行語義分塊戴尸，并且對于相同塊的實(shí)體進(jìn)行限定。
實(shí)體解析處理分成兩個(gè)MapReduce作業(yè)：分析作業(yè)主要用于統(tǒng)計(jì)記錄出現(xiàn)頻率冤狡，匹配作業(yè)用于處理負(fù)載均衡以及近似度計(jì)算孙蒙。另外，匹配作業(yè)采用“貪婪模式”的負(fù)載均衡調(diào)控悲雳，也就是說匹配任務(wù)按照任務(wù)處理數(shù)據(jù)大小的降序排列马篮，并做出最小負(fù)載的Reduce作業(yè)分配。
Dedoop還采用了有效的技術(shù)來避免多余的配對比較怜奖。它要求MR程序必須明確定義出哪個(gè)Reduce任務(wù)在處理哪個(gè)配對比較浑测，這樣就無需在多個(gè)節(jié)點(diǎn)上進(jìn)行相同的配對比較。
