目錄
????1 概述
????2 MR支持的壓縮編碼
????3 壓縮方式選擇
????4 壓縮位置選擇
????5 壓縮配置參數(shù)
????6 壓縮實戰(zhàn)
1 概述
????壓縮技術(shù)能夠有效減少底層存儲系統(tǒng)(HDFS)讀寫字節(jié)數(shù)混移。壓縮提高了網(wǎng)絡(luò)帶寬和磁盤空間的效率。在Hadoop下，尤其是數(shù)據(jù)規(guī)模很大和工作負載密集的情況下葬项，使用數(shù)據(jù)壓縮顯得非常重要博杖。在這種情況下蛾找，I/O操作和網(wǎng)絡(luò)數(shù)據(jù)傳輸要花大量的時間烤黍。還有，Shuffle與Merge過程同樣也面臨著巨大的I/O壓力擅耽。
????鑒于磁盤I/O和網(wǎng)絡(luò)帶寬是Hadoop的寶貴資源活孩，數(shù)據(jù)壓縮對于節(jié)省資源、最小化磁盤I/O和網(wǎng)絡(luò)傳輸非常有幫助秫筏。不過诱鞠，盡管壓縮與解壓操作的CPU開銷不高，其性能的提升和資源的節(jié)省并非沒有代價这敬。
????如果磁盤I/O和網(wǎng)絡(luò)帶寬影響了MapReduce作業(yè)性能航夺，在任意MapReduce階段啟用壓縮都可以改善端到端處理時間并減少I/O和網(wǎng)絡(luò)流量。
????壓縮Mapreduce的一種優(yōu)化策略：通過壓縮編碼對Mapper或者Reducer的輸出進行壓縮崔涂，以減少磁盤IO阳掐，提高MR程序運行速度（但相應(yīng)增加了cpu運算負擔(dān)）
????注意：壓縮特性運用得當能提高性能，但運用不當也可能降低性能。
(1)基本原則：
- (a)運算密集型的job缭保，少用壓縮
- (b)IO密集型的job汛闸，多用壓縮
2 MR支持的壓縮編碼
| 壓縮格式 | hadoop自帶？ | 算法 | 文件擴展名 | 是否可切分 | 換成壓縮格式后艺骂，原來的程序是否需要修改 |
|---|---|---|---|---|---|
| DEFAULT | 是诸老，直接使用 | DEFAULT | .deflate | 否 | 和文本處理一樣，不需要修改 |
| Gzip | 是钳恕，直接使用 | DEFAULT | .gz | 否 | 和文本處理一樣别伏，不需要修改 |
| bzip2 | 是，直接使用 | bzip2 | .bz2 | 是 | 和文本處理一樣忧额，不需要修改 |
| LZO | 否厘肮，需要安裝 | LZO | .lzo | 是 | 需要建索引，還需要指定輸入格式 |
| Snappy | 否睦番，需要安裝 | Snappy | .snappy | 否 | 和文本處理一樣类茂，不需要修改 |
為了支持多種壓縮/解壓縮算法，Hadoop引入了編碼/解碼器托嚣，如下表所示
| 壓縮格式 | 對應(yīng)的編碼/解碼器 |
|---|---|
| DEFLATE | org.apache.hadoop.io.compress.DefaultCodec |
| gzip | org.apache.hadoop.io.compress.GzipCodec |
| bzip2 | org.apache.hadoop.io.compress.BZip2Codec |
| LZO | com.hadoop.compression.lzo.LzopCodec |
| Snappy | org.apache.hadoop.io.compress.SnappyCodec |
壓縮性能的比較
| 壓縮算法 | 原始文件大小 | 壓縮文件大小 | 壓縮速度 | 解壓速度 |
|---|---|---|---|---|
| gzip | 8.3GB | 1.8GB | 17.5MB/s | 58MB/s |
| bzip2 | 8.3GB | 1.1GB | 2.4MB/s | 9.5MB/s |
| LZO | 8.3GB | 2.9GB | 49.3MB/s | 74.6MB/s |
http://google.github.io/snappy/
3 壓縮方式選擇
(1) Gzip壓縮
優(yōu)點：壓縮率比較高巩检，而且壓縮/解壓速度也比較快；hadoop本身支持注益，在應(yīng)用中處理gzip格式的文件就和直接處理文本一樣碴巾；大部分linux系統(tǒng)都自帶gzip命令溯捆，使用方便丑搔。
缺點：不支持split。
應(yīng)用場景：當每個文件壓縮之后在130M以內(nèi)的（1個塊大小內(nèi)）提揍，都可以考慮用gzip壓縮格式啤月。例如說一天或者一個小時的日志壓縮成一個gzip文件，運行mapreduce程序的時候通過多個gzip文件達到并發(fā)劳跃。hive程序谎仲，streaming程序，和java寫的mapreduce程序完全和文本處理一樣刨仑，壓縮之后原來的程序不需要做任何修改郑诺。
(2) Bzip2壓縮
優(yōu)點：支持split；具有很高的壓縮率杉武，比gzip壓縮率都高辙诞；hadoop本身支持，但不支持native(java和c互操作的API接口)轻抱；在linux系統(tǒng)下自帶bzip2命令飞涂，使用方便。
缺點：壓縮/解壓速度慢；不支持native较店。
應(yīng)用場景：適合對速度要求不高士八，但需要較高的壓縮率的時候，可以作為mapreduce作業(yè)的輸出格式梁呈；或者輸出之后的數(shù)據(jù)比較大婚度，處理之后的數(shù)據(jù)需要壓縮存檔減少磁盤空間并且以后數(shù)據(jù)用得比較少的情況；或者對單個很大的文本文件想壓縮減少存儲空間官卡，同時又需要支持split陕见，而且兼容之前的應(yīng)用程序（即應(yīng)用程序不需要修改）的情況。
(3) Lzo壓縮
優(yōu)點：壓縮/解壓速度也比較快味抖，合理的壓縮率评甜；支持split，是hadoop中最流行的壓縮格式仔涩；可以在linux系統(tǒng)下安裝lzop命令忍坷，使用方便。
缺點：壓縮率比gzip要低一些熔脂；hadoop本身不支持貌虾，需要安裝；在應(yīng)用中對lzo格式的文件需要做一些特殊處理（為了支持split需要建索引废膘，還需要指定inputformat為lzo格式）癣猾。
應(yīng)用場景：一個很大的文本文件，壓縮之后還大于200M以上的可以考慮适秩，而且單個文件越大绊序，lzo優(yōu)點越越明顯。
(4 )Snappy壓縮
優(yōu)點：高速壓縮速度和合理的壓縮率秽荞。
缺點：不支持split骤公；壓縮率比gzip要低；hadoop本身不支持扬跋，需要安裝阶捆；
應(yīng)用場景：當Mapreduce作業(yè)的Map輸出的數(shù)據(jù)比較大的時候，作為Map到Reduce的中間數(shù)據(jù)的壓縮格式钦听；或者作為一個Mapreduce作業(yè)的輸出和另外一個Mapreduce作業(yè)的輸入洒试。
4 壓縮位置選擇
壓縮可以在MapReduce作用的任意階段啟用。
5 壓縮配置參數(shù)
要在Hadoop中啟用壓縮朴上，可以配置如下參數(shù)：
| 參數(shù) | 默認值 | 階段 | 建議 |
|---|---|---|---|
| io.compression.codecs (在core-site.xml中配置) | org.apache.hadoop.io.compress.DefaultCodec, org.apache.hadoop.io.compress.GzipCodec, org.apache.hadoop.io.compress.BZip2Codec | 輸入壓縮 | Hadoop使用文件擴展名判斷是否支持某種編解碼器 |
| mapreduce.map.output.compress（在mapred-site.xml中配置） | false | mapper輸出 | 這個參數(shù)設(shè)為true啟用壓縮 |
| mapreduce.map.output.compress.codec（在mapred-site.xml中配置） | org.apache.hadoop.io.compress.DefaultCodec | mapper輸出 | 使用LZO或snappy編解碼器在此階段壓縮數(shù)據(jù) |
| mapreduce.output.fileoutputformat.compress（在mapred-site.xml中配置) | false | reducer輸出 | 這個參數(shù)設(shè)為true啟用壓縮 |
| mapreduce.output.fileoutputformat.compress.codec（在mapred-site.xml中配置） | org.apache.hadoop.io.compress. DefaultCodec | reducer輸出 | 使用標準工具或者編解碼器垒棋，如gzip和bzip2 |
| mapreduce.output.fileoutputformat.compress.type（在mapred-site.xml中配置） | RECORD | reducer輸出 | SequenceFile輸出使用的壓縮類型：NONE和BLOCK |
