測試數(shù)據(jù)
95001,李勇,男,20,CS
95002,劉晨,女,19,IS
95003,王敏,女,22,MA
95004,張立,男,19,IS
95005,劉剛,男,18,MA
95006,孫慶,男,23,CS
95007,易思玲,女,19,MA
95008,李娜,女,18,CS
95009,夢圓圓,女,18,MA
95010,孔小濤,男,19,CS
95011,包小柏,男,18,MA
95012,孫花,女,20,CS
95013,馮偉,男,21,CS
95014,王小麗,女,19,CS
95015,王君,男,18,MA
95016,錢國,男,21,MA
95017,王風娟,女,18,IS
95018,王一,女,19,IS
95019,邢小麗,女,19,IS
95020,趙錢,男,21,IS
95021,周二,男,17,MA
95022,鄭明,男,20,MA
創(chuàng)建分桶表
drop table stu_buck;
create table stu_buck(Sno int,Sname string,Sex string,Sage int,Sdept string)
clustered by(Sno) //根據(jù)Sno分桶
sorted by(Sno DESC)
into 4 buckets
row format delimited
fields terminated by ',';
設置變量,設置分桶為true, 設置reduce數(shù)量是分桶的數(shù)量個數(shù)
set hive.enforce.bucketing = true;
set mapreduce.job.reduces=4;
加載數(shù)據(jù)
load data local inpath '/mnt/hgfs/share_folder/hiveDATA/students.txt' into table stu_buck;
Loading data to table default.stu_buck
Table default.stu_buck stats: [numFiles=1, totalSize=526]
檢查剛剛加載的數(shù)據(jù)
select * from stu_buck;
OK
95001 李勇 男 20 CS
95002 劉晨 女 19 IS
95003 王敏 女 22 MA
95004 張立 男 19 IS
95005 劉剛 男 18 MA
95006 孫慶 男 23 CS
95007 易思玲 女 19 MA
95008 李娜 女 18 CS
95009 夢圓圓 女 18 MA
95010 孔小濤 男 19 CS
95011 包小柏 男 18 MA
95012 孫花 女 20 CS
95013 馮偉 男 21 CS
95014 王小麗 女 19 CS
95015 王君 男 18 MA
95016 錢國 男 21 MA
95017 王風娟 女 18 IS
95018 王一 女 19 IS
95019 邢小麗 女 19 IS
95020 趙錢 男 21 IS
95021 周二 男 17 MA
95022 鄭明 男 20 MA
創(chuàng)建測試數(shù)據(jù)表
> create table t_p(Sno int,Sname string)
row format delimited fields terminated by ',';
//結合mapreduce扛芽。map輸出的數(shù)據(jù)都有分區(qū)的概念骂蓖，分區(qū)的時候有一個根據(jù)key來partionar， cluster by即指定key是根據(jù)哪個字段來排序川尖，則reduce拿到的數(shù)據(jù)就是hashKey%bucket的個數(shù)登下，形成bucket個數(shù)的文件，sort by:每個bucket的文件內(nèi)部數(shù)據(jù)排序
distribute by指定分區(qū)字段 sort by：指定排序字段
select Sno,Sname from stu_buck cluster by (Sno);
OK
95001 李勇
95002 劉晨
95003 王敏
95004 張立
95005 劉剛
95006 孫慶
95007 易思玲
95008 李娜
95009 夢圓圓
95010 孔小濤
95011 包小柏
95012 孫花
95013 馮偉
95014 王小麗
95015 王君
95016 錢國
95017 王風娟
95018 王一
95019 邢小麗
95020 趙錢
95021 周二
95022 鄭明
//只排序
select Sno,Sname from stu_buck sort by (Sno);
OK
95001 李勇
95002 劉晨
95003 王敏
95004 張立
95005 劉剛
95006 孫慶
95007 易思玲
95008 李娜
95009 夢圓圓
95010 孔小濤
95011 包小柏
95012 孫花
95013 馮偉
95014 王小麗
95015 王君
95016 錢國
95017 王風娟
95018 王一
95019 邢小麗
95020 趙錢
95021 周二
95022 鄭明
select Sno,Sname from stu_buck distribute by (Sno) sort by (Sno);
OK
95001 李勇
95002 劉晨
95003 王敏
95004 張立
95005 劉剛
95006 孫慶
95007 易思玲
95008 李娜
95009 夢圓圓
95010 孔小濤
95011 包小柏
95012 孫花
95013 馮偉
95014 王小麗
95015 王君
95016 錢國
95017 王風娟
95018 王一
95019 邢小麗
95020 趙錢
95021 周二
95022 鄭明
加載分桶數(shù)據(jù)到空表t_p
insert into table t_p
select Sno,Sname from stu_buck cluster by (Sno);
加載完成后查詢新表數(shù)據(jù)
//hive表默認目錄
dfs -ls /user/hive/warehouse/;
dfs -cat /user/hive/warehouse/t_p/000000_0;//應該也是4個同樣的分桶
注：1、order by 輸出數(shù)據(jù)一定全局有序被芳，因此只有一個reducer（哪怕設置了 hive> set mapredce.job.reduces=4 運行sql時仍會被重置為1個）缰贝，會導致當輸入規(guī)模較大時，需要較長的計算時間畔濒。
2剩晴、sort by不是全局排序，其在數(shù)據(jù)進入reducer前完成排序侵状。因此赞弥，如果用sort by進行排序，并且設置mapred.reduce.tasks>1趣兄，則sort by只保證每個reducer的輸出有序嗤攻，不保證全局有序。
3诽俯、distribute by(字段)根據(jù)指定的字段將數(shù)據(jù)分到不同的reducer，且分發(fā)算法是hash散列承粤。
4暴区、（Cluster by字段) 除了具有Distribute by的功能外，還會對該字段進行排序辛臊。因此仙粱，如果分桶和sort字段是同一個時，此時彻舰，cluster by = distribute by + sort by
分桶表的作用：最大的作用是用來提高join操作的效率伐割；
（思考這個問題：select a.id,a.name,b.addr from a join b on a.id = b.id;
如果a表和b表已經(jīng)是分桶表，而且分桶的字段是id字段做這個join操作時刃唤，還需要全表做笛卡爾積嗎隔心？）
如果兩個表的分桶個數(shù)不一致：那么分桶聯(lián)查就沒意義，但是為倍數(shù)的時候還是有意義的
insert overwrite table student_buck
select * from student cluster by(Sno) sort by(Sage); 報錯,cluster 和 sort 不能共存
開會往創(chuàng)建的分通表插入數(shù)據(jù)(插入數(shù)據(jù)需要是已分桶, 且排序的)
可以使用distribute by(sno) sort by(sno asc) 或是排序和分桶的字段相同的時候使用Cluster by(字段)
注意使用cluster by 就等同于分桶+排序(sort)
insert into table stu_buck
select Sno,Sname,Sex,Sage,Sdept from student distribute by(Sno) sort by(Sno asc);
insert overwrite table stu_buck
select * from student distribute by(Sno) sort by(Sno asc);
insert overwrite table stu_buck
select * from student cluster by(Sno);
