Hive建表中ORC格式的使用

refer:https://blog.csdn.net/longshenlmj/article/details/51702343

#Hive建外部External表(外部表external table):

CREATE EXTERNAL TABLE `table_name`(
? `column1` string,
? `column2` string,
? `column3` string)
PARTITIONED BY (
? `proc_date` string)
ROW FORMAT SERDE?
? ?'org.apache.hadoop.hive.ql.io.orc.OrcSerde'
STORED AS INPUTFORMAT?
? ?'org.apache.hadoop.hive.ql.io.orc.OrcInputFormat'
OUTPUTFORMAT
? ?'org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat'
LOCATION
? 'hdfs://hdfscluster/...'
TBLPROPERTIES ( 'orc.compress'='snappy');

#

#

#添加分區(qū)并加載分區(qū)數(shù)據(jù):

alter table table_name add partition (proc_date='${hivevar:pdate}')?location '...'(不改變源數(shù)據(jù)存儲位置)

alter table table_name add if not exsit partition (proc_date='${hivevar:pdate}')?location 'hdfs://hdfscluster/'

load data inpath '...' into table table_name partition(proc_date='${hivevar:pdate}');(會將源數(shù)據(jù)切到hive表指定的路徑下)


#刪除分區(qū):alter table table_name drop if exists partition(proc_date='${hivevar:pdate}');


#TBLPROPERTIES

實際上就是table properties,TBLPROPERTIES允許開發(fā)者定義一些自己的鍵值對信息±觯可以對TBLPROPERTIES進(jìn)行查看和修改(部分可修改)。在TBLPROPERTIES中有一些預(yù)定義信息,比如last_modified_user和last_modified_time,其他的一些預(yù)定義信息包括:

TBLPROPERTIES ("comment"="table_comment")
TBLPROPERTIES ("hbase.table.name"="table_name")
TBLPROPERTIES ("immutable"="true") or ("immutable"="false")
TBLPROPERTIES ("orc.compress"="ZLIB") or ("orc.compress"="SNAPPY") or ("orc.compress"="NONE")
TBLPROPERTIES ("transactional"="true") or ("transactional"="false")
TBLPROPERTIES ("NO_AUTO_COMPACTION"="true") or ("NO_AUTO_COMPACTION"="false"), the default is "false"
TBLPROPERTIES ("compactor.mapreduce.map.memory.mb"="mapper_memory")
TBLPROPERTIES ("compactorthreshold.hive.compactor.delta.num.threshold"="threshold_num")
TBLPROPERTIES ("compactorthreshold.hive.compactor.delta.pct.threshold"="threshold_pct")
TBLPROPERTIES ("auto.purge"="true") or ("auto.purge"="false")
TBLPROPERTIES ("EXTERNAL"="TRUE")
#

#tplproperties屬性參考
(1)comment:可以用來定義表的描述信息荣暮。
(2)hbase.table.name:hive通過 storage handler(暫放)將hive與各種工具聯(lián)系起來窍株,這是是使用hive接入hbase時,設(shè)置的屬性(暫放)解滓。
(3)immutable:顧名思義‘不可變的’,當(dāng)表的這個屬性為true時筝家,若表中無數(shù)據(jù)時可以insert數(shù)據(jù)洼裤,但是當(dāng)表已經(jīng)有數(shù)據(jù)時,insert操作會失敗溪王。不可變表用來防止意外更新腮鞍,避免因腳本錯誤導(dǎo)致的多次更新,而沒有報錯在扰。本人實際中還沒用到這個屬性缕减。
(4)orc.compress:這是orc存儲格式表的一個屬性,用來指定orc存儲的壓縮方式(暫放)芒珠。
(5) transactional桥狡,NO_AUTO_COMPACTION,compactor.mapreduce.map.memory.mb,compactorthreshold.hive.compactor.delta.num.threshold裹芝,compactorthreshold.hive.compactor.delta.pct.threshold:這5個屬性與hive的事務(wù)支持有關(guān)部逮,先不做了解。
(6)auto.purge:當(dāng)設(shè)置為ture時嫂易,刪除或者覆蓋的數(shù)據(jù)會不經(jīng)過回收站兄朋,直接被刪除。配置了此屬性會影響到這些操作: Drop Table, Drop Partitions, Truncate Table,Insert Overwrite怜械。
(7)EXTERNAL:通過修改此屬性可以實現(xiàn)內(nèi)部表和外部表的轉(zhuǎn)化颅和。

#

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市缕允,隨后出現(xiàn)的幾起案子峡扩,更是在濱河造成了極大的恐慌,老刑警劉巖障本,帶你破解...
    沈念sama閱讀 221,430評論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件教届,死亡現(xiàn)場離奇詭異,居然都是意外死亡驾霜,警方通過查閱死者的電腦和手機(jī)案训,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,406評論 3 398
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來粪糙,“玉大人强霎,你說我怎么就攤上這事〔卵” “怎么了脆栋?”我有些...
    開封第一講書人閱讀 167,834評論 0 360
  • 文/不壞的土叔 我叫張陵,是天一觀的道長洒擦。 經(jīng)常有香客問我,道長怕膛,這世上最難降的妖魔是什么熟嫩? 我笑而不...
    開封第一講書人閱讀 59,543評論 1 296
  • 正文 為了忘掉前任,我火速辦了婚禮褐捻,結(jié)果婚禮上掸茅,老公的妹妹穿的比我還像新娘。我一直安慰自己柠逞,他們只是感情好昧狮,可當(dāng)我...
    茶點故事閱讀 68,547評論 6 397
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著板壮,像睡著了一般逗鸣。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 52,196評論 1 308
  • 那天撒璧,我揣著相機(jī)與錄音透葛,去河邊找鬼。 笑死卿樱,一個胖子當(dāng)著我的面吹牛僚害,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播繁调,決...
    沈念sama閱讀 40,776評論 3 421
  • 文/蒼蘭香墨 我猛地睜開眼萨蚕,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了蹄胰?” 一聲冷哼從身側(cè)響起门岔,我...
    開封第一講書人閱讀 39,671評論 0 276
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎烤送,沒想到半個月后寒随,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 46,221評論 1 320
  • 正文 獨居荒郊野嶺守林人離奇死亡帮坚,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,303評論 3 340
  • 正文 我和宋清朗相戀三年妻往,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片试和。...
    茶點故事閱讀 40,444評論 1 352
  • 序言:一個原本活蹦亂跳的男人離奇死亡讯泣,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出阅悍,到底是詐尸還是另有隱情好渠,我是刑警寧澤,帶...
    沈念sama閱讀 36,134評論 5 350
  • 正文 年R本政府宣布节视,位于F島的核電站拳锚,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏寻行。R本人自食惡果不足惜霍掺,卻給世界環(huán)境...
    茶點故事閱讀 41,810評論 3 333
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望拌蜘。 院中可真熱鬧杆烁,春花似錦、人聲如沸简卧。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,285評論 0 24
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽举娩。三九已至析校,卻和暖如春构罗,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背勺良。 一陣腳步聲響...
    開封第一講書人閱讀 33,399評論 1 272
  • 我被黑心中介騙來泰國打工绰播, 沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人尚困。 一個月前我還...
    沈念sama閱讀 48,837評論 3 376
  • 正文 我出身青樓蠢箩,卻偏偏與公主長得像,于是被迫代替她去往敵國和親事甜。 傳聞我的和親對象是個殘疾皇子谬泌,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 45,455評論 2 359

推薦閱讀更多精彩內(nèi)容