Hive簡易教程 - 數(shù)據(jù)存儲

hive是hdfs上的數(shù)據(jù)倉庫譬胎,能夠?qū)⒁粋€個大文件有效地管理起來,并對其進(jìn)行統(tǒng)計分析。數(shù)據(jù)倉庫看待數(shù)據(jù)的方式與常見的數(shù)據(jù)庫是完全不同的,它的最小粒度是文件而不是單條數(shù)據(jù)吓著。hive一般在hdfs上的路徑為/user/hive/warehouse蒙谓,而hive中的數(shù)據(jù)庫(如demo)的路徑就是/user/hive/warehouse/demo.db造烁,在往下就是表的路徑如:/user/hive/warehouse/demo.db/test搞动。管理hive上的數(shù)據(jù)分為兩部分:定義數(shù)據(jù)以及操縱數(shù)據(jù)。

基本命令

切換數(shù)據(jù)庫:use 數(shù)據(jù)庫名;
顯示當(dāng)前數(shù)據(jù)庫中的所有變:show tables;
查看表結(jié)構(gòu):desc 表名;
查看建表語句:show create table 表名;
數(shù)據(jù)定義語句(DDL)

創(chuàng)建表

完整語句

CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name -- (Note: TEMPORARY available in Hive 0.14.0 and later)
[(col_name data_type [COMMENT col_comment], ... [constraint_specification])]
[COMMENT table_comment]
[PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)]
[CLUSTERED BY (col_name, col_name, ...) [SORTED BY (col_name [ASC|DESC], ...)] INTO num_buckets BUCKETS]
[SKEWED BY (col_name, col_name, ...) -- (Note: Available in Hive 0.10.0 and later)]
ON ((col_value, col_value, ...), (col_value, col_value, ...), ...)
[STORED AS DIRECTORIES]
[
[ROW FORMAT row_format]
[STORED AS file_format]
| STORED BY 'storage.handler.class.name' [WITH SERDEPROPERTIES (...)] -- (Note: Available in Hive 0.6.0 and later)
]
[LOCATION hdfs_path]
[TBLPROPERTIES (property_name=property_value, ...)] -- (Note: Available in Hive 0.6.0 and later)
[AS select_statement]; -- (Note: Available in Hive 0.5.0 and later; not supported for external tables)

  1. hive可以創(chuàng)建臨時表[temporary]驮履,臨時表在當(dāng)前會話結(jié)束時(如關(guān)閉hive客戶端)會被自動刪除鱼辙。
  2. hive可以外部的映射表[external],即hive并不將這些數(shù)據(jù)存儲在自己的hdfs路徑中玫镐,而只保存表的元數(shù)據(jù)倒戏。這樣hive便可訪問更多的數(shù)據(jù)源,如hbase恐似。
  3. hive可以直接將select語句的結(jié)果保存為一個表:create table t2 as select * from t1;
  4. hive的基本單元是文件杜跷,那么在創(chuàng)建表的時候可以指定文件中每行數(shù)據(jù)的分隔符,即按該分割符分割后即為表的各列:create table t(c1 string, c2 string) row format delimited fields terminated by '\t'矫夷。
  5. hive中的表就是hdfs上的一個路徑葛闷,在創(chuàng)建表時可以在其下繼續(xù)創(chuàng)建文件目錄,這樣的好處就是在查詢時可以只訪問一些指定的目錄來提高性能双藕。create table t1(id string) partitioned by (year string, month string)淑趾,這樣t1路徑下就是year的文件夾,而year的每個值路徑下還有month文件夾忧陪,如圖所示:
Paste_Image.png

修改表

表重命名:alter table 原表名 rename to 新表名
刪除分區(qū):alter table xx drop partition (xx='')
數(shù)據(jù)操縱語言(DML)

加載數(shù)據(jù)

1)從本地加載: load data local inpath 'data/t1' into table t1;
2)從HDFS轉(zhuǎn)移:load data inpath '/user/hive/project/data1' into table xxx;

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末扣泊,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子嘶摊,更是在濱河造成了極大的恐慌延蟹,老刑警劉巖,帶你破解...
    沈念sama閱讀 222,183評論 6 516
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件叶堆,死亡現(xiàn)場離奇詭異阱飘,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)蹂空,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,850評論 3 399
  • 文/潘曉璐 我一進(jìn)店門俯萌,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人上枕,你說我怎么就攤上這事∪鹾悖” “怎么了辨萍?”我有些...
    開封第一講書人閱讀 168,766評論 0 361
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經(jīng)常有香客問我锈玉,道長爪飘,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 59,854評論 1 299
  • 正文 為了忘掉前任拉背,我火速辦了婚禮师崎,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘椅棺。我一直安慰自己犁罩,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 68,871評論 6 398
  • 文/花漫 我一把揭開白布两疚。 她就那樣靜靜地躺著床估,像睡著了一般。 火紅的嫁衣襯著肌膚如雪诱渤。 梳的紋絲不亂的頭發(fā)上丐巫,一...
    開封第一講書人閱讀 52,457評論 1 311
  • 那天,我揣著相機(jī)與錄音勺美,去河邊找鬼递胧。 笑死,一個胖子當(dāng)著我的面吹牛赡茸,可吹牛的內(nèi)容都是我干的谓着。 我是一名探鬼主播,決...
    沈念sama閱讀 40,999評論 3 422
  • 文/蒼蘭香墨 我猛地睜開眼坛掠,長吁一口氣:“原來是場噩夢啊……” “哼赊锚!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起屉栓,我...
    開封第一講書人閱讀 39,914評論 0 277
  • 序言:老撾萬榮一對情侶失蹤舷蒲,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后友多,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體牲平,經(jīng)...
    沈念sama閱讀 46,465評論 1 319
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,543評論 3 342
  • 正文 我和宋清朗相戀三年域滥,在試婚紗的時候發(fā)現(xiàn)自己被綠了纵柿。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 40,675評論 1 353
  • 序言:一個原本活蹦亂跳的男人離奇死亡启绰,死狀恐怖昂儒,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情委可,我是刑警寧澤渊跋,帶...
    沈念sama閱讀 36,354評論 5 351
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響拾酝,放射性物質(zhì)發(fā)生泄漏燕少。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 42,029評論 3 335
  • 文/蒙蒙 一蒿囤、第九天 我趴在偏房一處隱蔽的房頂上張望客们。 院中可真熱鬧,春花似錦材诽、人聲如沸底挫。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,514評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽凄敢。三九已至,卻和暖如春湿痢,著一層夾襖步出監(jiān)牢的瞬間涝缝,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,616評論 1 274
  • 我被黑心中介騙來泰國打工譬重, 沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留拒逮,地道東北人。 一個月前我還...
    沈念sama閱讀 49,091評論 3 378
  • 正文 我出身青樓臀规,卻偏偏與公主長得像滩援,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子塔嬉,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 45,685評論 2 360

推薦閱讀更多精彩內(nèi)容