Hive 分區(qū)是一項(xiàng)特別強(qiáng)大的功能熄云，通過(guò)分區(qū)可以將一個(gè)表劃分為更多的 pieces（實(shí)際上一個(gè)分區(qū)物理上對(duì)應(yīng) HDFS 一個(gè)目錄）膨更，從而可以以更細(xì)的粒度對(duì)數(shù)據(jù)進(jìn)行管理和訪(fǎng)問(wèn)。

分區(qū)的優(yōu)點(diǎn)如下：

• 分區(qū)也有助于查詢(xún)性能的提升缴允，我們可以直接查詢(xún)某個(gè)分區(qū)的數(shù)據(jù)荚守，避免了對(duì)表中的全量數(shù)據(jù)進(jìn)行掃描。
• 借助分區(qū)练般，可以減少諸如 mapper 的數(shù)量矗漾，I/O 操作等系統(tǒng)資源。

分區(qū)的種類(lèi)

分區(qū)可以進(jìn)一步分為 靜態(tài)分區(qū) 和 動(dòng)態(tài)分區(qū)踢俄。

分區(qū)表的創(chuàng)建語(yǔ)法：

CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] 
  [db_name.]table_name
  [(col_name data_type [column_constraint_specification] [COMMENT col_comment],
  [COMMENT table_comment]
  [PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)];

靜態(tài)分區(qū)

靜態(tài)分區(qū)需要明確指定向哪個(gè)分區(qū)寫(xiě)入。靜態(tài)分區(qū)是可以 alter 的晴及。
使用靜態(tài)分區(qū)特性需要在 hive-site.xml 中設(shè)置屬性 hive. mapred.mode = strict都办。
通過(guò)以下例子感受一下靜態(tài)分區(qū)。

• 創(chuàng)建表

CREATE TABLE user_data (
user_id INT,
user_name string,
site_data string
) PARTITIONED BY (
date_dt string,
country string
);

create-table.png

• 插入數(shù)據(jù)

INSERT INTO TABLE user_data PARTITION(date_dt='2016-05-29', country='US') VALUES(201, 'Wick', 'Google');
INSERT INTO TABLE user_data PARTITION(date_dt='2016-05-20', country='UK') VALUES(202, 'John', 'Facebook');
INSERT INTO TABLE user_data PARTITION(date_dt='2016-05-20', country='UK') VALUES(203, 'Partick', 'Instagram');
INSERT INTO TABLE user_data PARTITION(date_dt='2016-05-29', country='UK') VALUES(204, 'Hema', 'Google');
INSERT INTO TABLE user_data PARTITION(date_dt='2016-05-28', country='INDIA') VALUES(205, 'Holi', 'Facebook');
INSERT INTO TABLE user_data PARTITION(date_dt='2016-05-20', country='RUSSIA') VALUES(206, 'Michael', 'Insatgram');
INSERT INTO TABLE user_data PARTITION(date_dt='2016-05-20', country='RUSSIA') VALUES(207, 'Chung', 'Instagram');
INSERT INTO TABLE user_data PARTITION(date_dt='2016-05-22', country='NEPAL') VALUES(208, 'Anna', 'Instagram');

show-partitions.png

默認(rèn)情況下，表會(huì)創(chuàng)建在 HDFS 的 /user/hive/warehouse 路徑（本例指定創(chuàng)建位置為 /user/spark/spark-sql-warehouse）琳钉。

由于我們的分區(qū)列為 date_dt 和 country 兩列势木，相應(yīng)的，可以在 HDFS 看到 user_data 的數(shù)據(jù)為以 date_dt 的取值作為第一級(jí)目錄歌懒，country 的取值作為第二級(jí)目錄進(jìn)行存儲(chǔ)啦桌。

hdfs-ls-1.png

hdfs-ls-2.png

動(dòng)態(tài)分區(qū)

動(dòng)態(tài)分區(qū)可以自動(dòng)識(shí)別分區(qū)，不需要明確指定分區(qū)及皂。例如甫男，如果數(shù)據(jù)已經(jīng)存儲(chǔ)在一個(gè)非分區(qū)的表中，現(xiàn)在需要將數(shù)據(jù)轉(zhuǎn)儲(chǔ)到一個(gè)分區(qū)表中验烧，此時(shí)動(dòng)態(tài)分區(qū)比較適合板驳。
動(dòng)態(tài)分區(qū)比靜態(tài)分區(qū)更加耗時(shí)，且分區(qū)不可修改碍拆。
使用動(dòng)態(tài)分區(qū)特性需要在 hive-site.xml 中設(shè)置屬性 hive.exec.dynamic.partition.mode= nonstrict若治。

通過(guò)以下例子感受一下動(dòng)態(tài)分區(qū)：

準(zhǔn)備兩個(gè)表，user_data_dyn 和 user_log_data感混。user_data_dyn 是分區(qū)表端幼，以 date_dt 列和 country 列作為分區(qū)列。user_log_data 為非分區(qū)表弧满，接下來(lái)將數(shù)據(jù)從非分區(qū)表 user_log_data 轉(zhuǎn)儲(chǔ)到分區(qū)表 user_data_dyn 中婆跑。

• 創(chuàng)建表非分區(qū)表 user_log_data

CREATE TABLE user_log_data (
user_id int,
user_name string,
site_data string,
date_dt string,
country string
);

• 向 user_log_data 中插入測(cè)試數(shù)據(jù)

INSERT INTO TABLE user_log_data VALUES(1001, 'John', 'Google', '2016-04-27', 'US');
INSERT INTO TABLE user_log_data VALUES(1002, 'Eric', 'Facebook', '2016-04-28', 'US');
INSERT INTO TABLE user_log_data VALUES(1003, 'Annie', 'Instagram', '2016-04-28', 'UK');
INSERT INTO TABLE user_log_data VALUES(1005, 'Ming', 'Google', '2016-04-29', 'CHINA');
INSERT INTO TABLE user_log_data VALUES(1006, 'Li', 'Facebook', '2016-04-29', 'CHINA');
INSERT INTO TABLE user_log_data VALUES(1007, 'Sota', 'Insatgram', '2016-04-29', 'JAPAN');
INSERT INTO TABLE user_log_data VALUES(1008, 'Yuto', 'Instagram', '2016-04-27', 'JAPAN');
INSERT INTO TABLE user_log_data VALUES(1009, 'Anna', 'Instagram', '2016-04-28', 'AUSTRALIA');
INSERT INTO TABLE user_log_data VALUES(1010, 'Ricky', 'Facebook', '2016-04-28', 'AUSTRALIA');

• 創(chuàng)建分區(qū)表 user_data_dyn

CREATE TABLE user_data_dyn (
user_id int,
user_name string,
site_data string
) PARTITIONED BY (
date_dt string,
country string
);

• 將數(shù)據(jù)從 user_log_data 轉(zhuǎn)儲(chǔ)到 user_data_dyn

SET hive.exec.dynamic.partition = true;
SET hive.exec.dynamic.partition.mode = nonstrict; 

INSERT OVERWRITE TABLE user_data_dyn
PARTITION(date_dt, country)
SELECT user_id, user_name, site_data, date_dt, country FROM user_log_data; 

可以看到動(dòng)態(tài)分區(qū)已經(jīng)基于 date_dt 和 country 自動(dòng)創(chuàng)建：

dynamic-partitions.png

• 分區(qū)刪除

對(duì) user_data_dyn 中的分區(qū)執(zhí)行刪除操作，感受一下分區(qū)的便捷谱秽。不知道為什么洽蛀，就想刪掉那個(gè)叫 JAPAN 的 country：

alter table user_data_dyn drop partition (date_dt='2016-04-27', country='JAPAN');

drop-partitions.png

最后對(duì) 靜態(tài)分區(qū) 和 動(dòng)態(tài)分區(qū) 做一下對(duì)比：