hive內(nèi)部表與外部表的區(qū)別以及使用場景

一、hive的內(nèi)部表

1器瘪,建表語句

create table students
(
    id bigint,
    name string,
    age int,
    school string,
    class string
)
#指定分隔符(下面語句表示數(shù)據(jù)以逗號分隔開)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','   
#手動指定該內(nèi)部表表格創(chuàng)建在HDFS下的/user/hive/warehouse目錄內(nèi)翠储,也可以不指定,默認存放/user/hive/warehouse下
LOCATION '/user/hive/warehouse';

2娱局,存儲位置

內(nèi)部表數(shù)據(jù)存儲的位置是hive在hdfs中存在默認的存儲路徑彰亥,即default數(shù)據(jù)庫(默認:/user/hive/warehouse)

3,管理主體

內(nèi)部表的數(shù)據(jù)是Hive自身管理衰齐,創(chuàng)建內(nèi)部表時任斋,會將數(shù)據(jù)移動到數(shù)據(jù)倉庫指向的路徑

4,內(nèi)部表轉(zhuǎn)換為外部表

alter table table_name set tblproperties('EXTERNAL'='TRUE');
可以通過 desc formatted 表名  來查看表的屬性

5,數(shù)據(jù)刪除問題

刪除內(nèi)部表會直接刪除元數(shù)據(jù)(metadata)及存儲數(shù)據(jù)废酷,對內(nèi)部表的修改會將修改直接同步給元數(shù)據(jù)

二瘟檩、hive的外部表

1,建表語句

# 關(guān)鍵詞external 表示創(chuàng)建的hive表為外部表
create external table students
(
    id bigint,
    name string,
    age int,
    school string,
    class string
)
#指定分隔符(下面語句表示數(shù)據(jù)以逗號分隔開)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','   
#手動指定該內(nèi)部表表格創(chuàng)建在HDFS下的/user/hive/warehouse_external 目錄內(nèi)
LOCATION '/user/hive/warehouse_external ';

2澈蟆,存儲位置

外部表數(shù)據(jù)存儲的位置可以自己指定墨辛,指定除/user/hive/warehouse以外的路徑。

3趴俘,管理主體

外部表數(shù)據(jù)由HDFS管理睹簇,創(chuàng)建外部表時,僅記錄數(shù)據(jù)所在的路徑寥闪,不對數(shù)據(jù)的位置做任何改變太惠。

4,外部表轉(zhuǎn)換為內(nèi)部表

alter table table_name set tblproperties('EXTERNAL'='FALSE');
可以通過 desc formatted 表名  來查看表的屬性

5疲憋,數(shù)據(jù)刪除問題

刪除外部表僅僅會刪除元數(shù)據(jù)凿渊,HDFS上的文件并不會被刪除,而對外部表的表結(jié)構(gòu)和分區(qū)進行修改缚柳,則需要修復(MSCK REPAIR TABLE table_name)

三埃脏、hive內(nèi)部表與外部表的不同使用場景

1,場景一

因為hive內(nèi)部表在刪除表是同時刪除表數(shù)據(jù)與元數(shù)據(jù)秋忙,而外部表刪除的時候彩掐,僅僅會刪除元數(shù)據(jù),HDFS上的文件并不會被刪除翰绊,所以外部表相對來說更加安全些佩谷,數(shù)據(jù)組織也更加靈活,方便共享源數(shù)據(jù)监嗜。

2谐檀,場景二

如果所有的數(shù)據(jù)都由hive處理,則創(chuàng)建內(nèi)部表裁奇;如果數(shù)據(jù)的處理由hive和其他工具一起處理桐猬,則創(chuàng)建外部表。

3刽肠,場景三

我們在管理表不方便和其他工作共享數(shù)據(jù)溃肪。可以創(chuàng)建一個外部表指向這份數(shù)據(jù)音五,而并不需要對其具有所有權(quán)惫撰。

我們在使用hive內(nèi)部表與外部表的時候,需要根據(jù)合適的業(yè)務(wù)場景去選擇哦躺涝!

我是曉之以理的喵~厨钻,歡迎大家相互交流!!夯膀!

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末诗充,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子诱建,更是在濱河造成了極大的恐慌蝴蜓,老刑警劉巖,帶你破解...
    沈念sama閱讀 212,599評論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件俺猿,死亡現(xiàn)場離奇詭異茎匠,居然都是意外死亡,警方通過查閱死者的電腦和手機辜荠,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,629評論 3 385
  • 文/潘曉璐 我一進店門汽抚,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人伯病,你說我怎么就攤上這事》窆” “怎么了午笛?”我有些...
    開封第一講書人閱讀 158,084評論 0 348
  • 文/不壞的土叔 我叫張陵,是天一觀的道長苗桂。 經(jīng)常有香客問我药磺,道長,這世上最難降的妖魔是什么煤伟? 我笑而不...
    開封第一講書人閱讀 56,708評論 1 284
  • 正文 為了忘掉前任癌佩,我火速辦了婚禮,結(jié)果婚禮上便锨,老公的妹妹穿的比我還像新娘围辙。我一直安慰自己,他們只是感情好放案,可當我...
    茶點故事閱讀 65,813評論 6 386
  • 文/花漫 我一把揭開白布姚建。 她就那樣靜靜地躺著,像睡著了一般吱殉。 火紅的嫁衣襯著肌膚如雪掸冤。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 50,021評論 1 291
  • 那天友雳,我揣著相機與錄音稿湿,去河邊找鬼。 笑死押赊,一個胖子當著我的面吹牛饺藤,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 39,120評論 3 410
  • 文/蒼蘭香墨 我猛地睜開眼策精,長吁一口氣:“原來是場噩夢啊……” “哼舰始!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起咽袜,我...
    開封第一講書人閱讀 37,866評論 0 268
  • 序言:老撾萬榮一對情侶失蹤丸卷,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后询刹,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體谜嫉,經(jīng)...
    沈念sama閱讀 44,308評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,633評論 2 327
  • 正文 我和宋清朗相戀三年凹联,在試婚紗的時候發(fā)現(xiàn)自己被綠了沐兰。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 38,768評論 1 341
  • 序言:一個原本活蹦亂跳的男人離奇死亡蔽挠,死狀恐怖住闯,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情澳淑,我是刑警寧澤比原,帶...
    沈念sama閱讀 34,461評論 4 333
  • 正文 年R本政府宣布,位于F島的核電站杠巡,受9級特大地震影響量窘,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜氢拥,卻給世界環(huán)境...
    茶點故事閱讀 40,094評論 3 317
  • 文/蒙蒙 一蚌铜、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧嫩海,春花似錦冬殃、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,850評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至骂束,卻和暖如春耳璧,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背展箱。 一陣腳步聲響...
    開封第一講書人閱讀 32,082評論 1 267
  • 我被黑心中介騙來泰國打工旨枯, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人混驰。 一個月前我還...
    沈念sama閱讀 46,571評論 2 362
  • 正文 我出身青樓攀隔,卻偏偏與公主長得像皂贩,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子昆汹,可洞房花燭夜當晚...
    茶點故事閱讀 43,666評論 2 350

推薦閱讀更多精彩內(nèi)容