碼代碼檐束，寫程序商佑，總是麻煩一大堆。Hive在存儲(chǔ)和壓縮的時(shí)候厢塘，總是避免不了踩進(jìn)坑里面。今天肌幽，我們一起來看看一位大神Hive實(shí)踐分享：存儲(chǔ)和壓縮的坑晚碾。

這位大神最近在阿里云跑數(shù)據(jù)，想分析一下借款用戶的行為路徑軌跡喂急，由于數(shù)據(jù)量級很大格嘁，而且行為數(shù)據(jù)很臟，所以需要將加工數(shù)據(jù)導(dǎo)出到本地文件系統(tǒng)廊移，再下載到電腦上糕簿！結(jié)果發(fā)現(xiàn)數(shù)據(jù)是二進(jìn)制形式壓縮探入，根本沒法看。

大家都知道懂诗，由于集群資源有限蜂嗽，我們一般都會(huì)針對數(shù)據(jù)文件的「存儲(chǔ)結(jié)構(gòu)」和「壓縮形式」進(jìn)行配置優(yōu)化。結(jié)合實(shí)際查看以后殃恒，發(fā)現(xiàn)集群的文件存儲(chǔ)格式為Parquet植旧，一種列式存儲(chǔ)引擎，類似的還有ORC离唐。而文件的壓縮形式為Snappy病附。具體的操作形式如下：①創(chuàng)建Parquet結(jié)構(gòu)的表（Hive?0.13?and?later）：CREATE?TABLE?CRM.DEMO(A?INT)?STORED?AS?PARQUET?;②?確認(rèn)表的文件存儲(chǔ)格式：desc?formatted?crm.demo;結(jié)果輸出如下#?Storage?Information ? ?SerDe?Library:org.apache.hadoop.hive.ql.io?.parquet.serde.ParquetHiveSerDe ?InputFormat:org.apache.hadoop.hive.ql.io?.parquet.MapredParquetInputFormat ?OutputFormat:org.apache.hadoop.hive.ql.io?

.parquet.MapredParquetOutputFormat ③?創(chuàng)建Snappy壓縮格式的Parquet結(jié)構(gòu)的表(待考察)：ALTER?TABLE?crm.demo?SET?TBLPROPERTIES?('parquet.compression'='SNAPPY')?;或，寫入時(shí)SET?parquet.compression=SNAPPY?;相對來說亥鬓，還是比較簡單完沪，更多關(guān)于壓縮內(nèi)容的，參考這篇文章：鏈接：Hive壓縮說明?-?CSDN博客回到最初的問題嵌戈，如果是按Snappy壓縮的格式覆积，這份用戶行為數(shù)據(jù)沒辦法分析了，因此有兩種辦法去解決：①?安裝Snappy的解壓工具可自行百度（鏈接：壓縮軟件Snappy的安裝?-?一心行走?-?博客園?）咕别，由于沒有權(quán)限技健，所以這條路行不通；②?更改數(shù)據(jù)的壓縮格式最初我試了一下更改Parquet格式表的壓縮格式惰拱，但是沒有用雌贱！因?yàn)槲易詈笫切枰獙⒉樵償?shù)據(jù)導(dǎo)出到本地文件系統(tǒng)，如下語句所示：insert??overwrite??local??directory??'/home/etl/tmp/data'?select?*from?crm.demo所以偿短，通過這樣的形式得到的數(shù)據(jù)欣孤，壓縮格式依然是.?Snappy。因此昔逗，這里就需要配置Hive執(zhí)行過程中的中間數(shù)據(jù)和最終數(shù)據(jù)的壓縮格式降传。如MapReduce的shuffle階段對mapper產(chǎn)生的中間結(jié)果數(shù)據(jù)壓縮：hive>?set?mapred.map.output.compression.codec;mapred.map.output.compression.codec=org.apache.hadoop.io?.compress.SnappyCodec如對最終生成的Hive表的數(shù)據(jù)壓縮：hive>?set?mapred.output.compression.codec;mapred.output.compression.codec=org.apache.hadoop.io?.compress.SnappyCodec這里，我們要設(shè)置結(jié)果表數(shù)據(jù)的壓縮格式勾怒，語句如下：set?mapred.output.compression.codec=org.apache.hadoop.io?.compress.GzipCodec;最終的結(jié)果就是.gz?的壓縮格式-rw-r--r--?1?etl?etl?342094?May?10?11:13?000000_0.gz最后婆排，我們直接下載到電腦本地，直接解壓就可以通過Excel分析用戶行為路徑數(shù)據(jù)了笔链。

結(jié)合以上信息看來段只，我們可以總結(jié)出一點(diǎn)經(jīng)驗(yàn)：

從Hive應(yīng)用層的角度來說，關(guān)于數(shù)據(jù)文件的「存儲(chǔ)結(jié)構(gòu)」和「壓縮形式」鉴扫，這兩個(gè)點(diǎn)我們不需要關(guān)心赞枕，只是在導(dǎo)出數(shù)據(jù)的時(shí)候需要結(jié)合文件大小，以及數(shù)據(jù)類型去設(shè)置合適的壓縮格式。

從Hive底層維護(hù)的角度來說炕婶，涉及到各種各樣的「存儲(chǔ)結(jié)構(gòu)」和「壓縮形式」姐赡，都需要開發(fā)者去研究和調(diào)整，這樣才能保證集群上的文件在「時(shí)間」和「空間」上相對平衡柠掂。

對大數(shù)據(jù)感興趣的小伙伴們可以到科多大數(shù)據(jù)進(jìn)行咨詢喲~