Hive中常用的數(shù)據(jù)壓縮snappy

Hive的數(shù)據(jù)壓縮

壓縮格式: bzip2, gzip, lzo, snappy
壓縮比:bzip2>gzip>lzo bzip2最節(jié)省存儲(chǔ)空間
解壓速度:lzo>gzip>bzip2 lzo解壓速度是最快的

用的最多的是snappy

檢查hadoop支持那些壓縮格式

檢查命令:[root@hadoop-senior hadoop-2.5.0]# bin/hadoop checknative

下載snappy并安裝

編譯hadoop 2.x源碼


并把native下的文件復(fù)制到現(xiàn)在/opt/modules/hadoop-2.5.0/lib/native

再次檢查hadoop支持的壓縮類型(都為true)
使用snappy前后比較
沒(méi)有壓縮前

bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /user/beifeng/mapreduce/wordcount/input /user/beifeng/mapreduce/wordcount/output0310


壓縮后

bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount -Dmapreduce.map.output.compress=true -Dmapreduce.map.output.compress.codec=org.apache.hadoop.io.compress.SnappyCodec /user/beifeng/mapreduce/wordcount/input /user/beifeng/mapreduce/wordcount/output0310
說(shuō)明:上面加黑的是開(kāi)啟壓縮痊银,并配置了壓縮類怔檩。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末韵洋,一起剝皮案震驚了整個(gè)濱河市逮矛,隨后出現(xiàn)的幾起案子眼俊,更是在濱河造成了極大的恐慌令宿,老刑警劉巖拙寡,帶你破解...
    沈念sama閱讀 223,207評(píng)論 6 521
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異假勿,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī)态鳖,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,455評(píng)論 3 400
  • 文/潘曉璐 我一進(jìn)店門转培,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人浆竭,你說(shuō)我怎么就攤上這事浸须。” “怎么了邦泄?”我有些...
    開(kāi)封第一講書人閱讀 170,031評(píng)論 0 366
  • 文/不壞的土叔 我叫張陵删窒,是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我顺囊,道長(zhǎng)肌索,這世上最難降的妖魔是什么? 我笑而不...
    開(kāi)封第一講書人閱讀 60,334評(píng)論 1 300
  • 正文 為了忘掉前任包蓝,我火速辦了婚禮驶社,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘测萎。我一直安慰自己亡电,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 69,322評(píng)論 6 398
  • 文/花漫 我一把揭開(kāi)白布硅瞧。 她就那樣靜靜地躺著份乒,像睡著了一般。 火紅的嫁衣襯著肌膚如雪腕唧。 梳的紋絲不亂的頭發(fā)上或辖,一...
    開(kāi)封第一講書人閱讀 52,895評(píng)論 1 314
  • 那天,我揣著相機(jī)與錄音枣接,去河邊找鬼颂暇。 笑死,一個(gè)胖子當(dāng)著我的面吹牛但惶,可吹牛的內(nèi)容都是我干的耳鸯。 我是一名探鬼主播,決...
    沈念sama閱讀 41,300評(píng)論 3 424
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼膀曾,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼县爬!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起添谊,我...
    開(kāi)封第一講書人閱讀 40,264評(píng)論 0 277
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤财喳,失蹤者是張志新(化名)和其女友劉穎,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體耳高,經(jīng)...
    沈念sama閱讀 46,784評(píng)論 1 321
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡扎瓶,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,870評(píng)論 3 343
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了祝高。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片栗弟。...
    茶點(diǎn)故事閱讀 40,989評(píng)論 1 354
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖工闺,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情瓣蛀,我是刑警寧澤陆蟆,帶...
    沈念sama閱讀 36,649評(píng)論 5 351
  • 正文 年R本政府宣布,位于F島的核電站惋增,受9級(jí)特大地震影響叠殷,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜诈皿,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 42,331評(píng)論 3 336
  • 文/蒙蒙 一林束、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧稽亏,春花似錦壶冒、人聲如沸。這莊子的主人今日做“春日...
    開(kāi)封第一講書人閱讀 32,814評(píng)論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至瘪松,卻和暖如春咸作,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背宵睦。 一陣腳步聲響...
    開(kāi)封第一講書人閱讀 33,940評(píng)論 1 275
  • 我被黑心中介騙來(lái)泰國(guó)打工记罚, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人壳嚎。 一個(gè)月前我還...
    沈念sama閱讀 49,452評(píng)論 3 379
  • 正文 我出身青樓桐智,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親诬辈。 傳聞我的和親對(duì)象是個(gè)殘疾皇子酵使,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,995評(píng)論 2 361

推薦閱讀更多精彩內(nèi)容

  • HADOOP與HDFS數(shù)據(jù)壓縮格式 1、cloudera 數(shù)據(jù)壓縮的一般準(zhǔn)則 一般準(zhǔn)則 是否壓縮數(shù)據(jù)以及使用何種壓...
    VentLam閱讀 7,877評(píng)論 0 8
  • [root@hh hadoop]# hdfs namenode -format 17/12/12 17:42:06...
    好了傷疤忘了閱讀 1,349評(píng)論 0 51
  • 優(yōu)點(diǎn) 在Hadoop集群中焙糟,有大量的數(shù)據(jù)復(fù)制和移動(dòng)操作口渔,壓縮過(guò)后可以減少文件的大小,從而可以減少磁盤和網(wǎng)絡(luò)的I/O...
    心_的方向閱讀 3,644評(píng)論 1 2
  • 說(shuō)明:不少讀者反饋穿撮,想使用開(kāi)源組件搭建Hadoop平臺(tái)缺脉,然后再部署Kylin痪欲,但是遇到各種問(wèn)題。這里我為讀者部署一...
    大詩(shī)兄_zl閱讀 2,084評(píng)論 0 2
  • 1. 日志文件加載案例: 需求描述:在日志文件目錄中,按天建文件夾礁扮,并且在每個(gè)天文件夾中知举,每小時(shí)有一個(gè)日志文件。程...
    奉先閱讀 1,544評(píng)論 0 6