（轉(zhuǎn)載 http://blog.sina.com.cn/s/blog_5745722a010172sr.html）?

全排序

Hive的排序關(guān)鍵字是SORT BY，它有意區(qū)別于傳統(tǒng)數(shù)據(jù)庫的ORDER BY也是為了強調(diào)兩者的區(qū)別–SORT BY只能在單機范圍內(nèi)排序匆光∶潦ǎ考慮以下表定義：

CREATE TABLE if not exists t_order(id int, --訂單編號sale_id int, --銷售IDcustomer_id int, --客戶IDproduct _id int, --產(chǎn)品IDamount int --數(shù)量) PARTITIONED BY (ds STRING);

在表中查詢所有銷售記錄，并按照銷售ID和數(shù)量排序：

set mapred.reduce.tasks=2;Select sale_id, amount from t_orderSort by sale_id, amount;

這一查詢可能得到非期望的排序萧诫。指定的2個reducer分發(fā)到的數(shù)據(jù)可能是（各自排序）：

Reducer1：

Sale_id | amount0 | 1001 | 301 | 502 | 20

Reducer2：

Sale_id | amount0| 1100 | 1203 | 504 | 20

因為上述查詢沒有reduce key斥难，hive會生成隨機數(shù)作為reduce key。這樣的話輸入記錄也隨機地被分發(fā)到不同reducer機器上去了帘饶。為了保證reducer之間沒有重復的sale_id記錄哑诊，可以使用DISTRIBUTE BY關(guān)鍵字指定分發(fā)key為sale_id。改造后的HQL如下：

set mapred.reduce.tasks=2;Select sale_id, amount from t_orderDistribute by sale_idSort by sale_id, amount;

這樣能夠保證查詢的銷售記錄集合中及刻，銷售ID對應的數(shù)量是正確排序的镀裤，但是銷售ID不能正確排序，原因是hive使用hadoop默認的HashPartitioner分發(fā)數(shù)據(jù)缴饭。

這就涉及到一個全排序的問題暑劝。解決的辦法無外乎兩種：

1.)不分發(fā)數(shù)據(jù)，使用單個reducer：

set mapred.reduce.tasks=1;

這一方法的缺陷在于reduce端成為了性能瓶頸颗搂，而且在數(shù)據(jù)量大的情況下一般都無法得到結(jié)果担猛。但是實踐中這仍然是最常用的方法，原因是通常排序的查詢是為了得到排名靠前的若干結(jié)果，因此可以用limit子句大大減少數(shù)據(jù)量傅联。使用limit n后智嚷，傳輸?shù)絩educe端（單機）的數(shù)據(jù)記錄數(shù)就減少到n*（map個數(shù)）。

2.)修改Partitioner纺且，這種方法可以做到全排序盏道。這里可以使用Hadoop自帶的TotalOrderPartitioner（來自于Yahoo!的TeraSort項目），這是一個為了支持跨reducer分發(fā)有序數(shù)據(jù)開發(fā)的Partitioner载碌，它需要一個SequenceFile格式的文件指定分發(fā)的數(shù)據(jù)區(qū)間猜嘱。如果我們已經(jīng)生成了這一文件（存儲在/tmp/range_key_list，分成100個reducer）嫁艇，可以將上述查詢改寫為

set mapred.reduce.tasks=100;set hive.mapred.partitioner=org.apache.hadoop.mapred.lib.TotalOrderPartitioner;set total.order.partitioner.path=/tmp/ range_key_list;Select sale_id, amount from t_orderCluster by sale_idSort by amount;

有很多種方法生成這一區(qū)間文件（例如hadoop自帶的o.a.h.mapreduce.lib.partition.InputSampler工具）朗伶。這里介紹用Hive生成的方法，例如有一個按id有序的t_sale表：

CREATE TABLE if not exists t_sale (id int,name string,loc string);

則生成按sale_id分發(fā)的區(qū)間文件的方法是：

create external table range_keys(sale_id int)row format serde'org.apache.hadoop.hive.serde2.binarysortable.BinarySortableSerDe'stored asinputformat'org.apache.hadoop.mapred.TextInputFormat'outputformat'org.apache.hadoop.hive.ql.io.HiveNullValueSequenceFileOutputFormat'location '/tmp/range_key_list';insert overwrite table range_keysselect distinct sale_idfrom source t_sale sampletable(BUCKET 100 OUT OF 100 ON rand()) ssort by sale_id;

生成的文件（/tmp/range_key_list目錄下）可以讓TotalOrderPartitioner按sale_id有序地分發(fā)reduce處理的數(shù)據(jù)步咪。區(qū)間文件需要考慮的主要問題是數(shù)據(jù)分發(fā)的均衡性论皆，這有賴于對數(shù)據(jù)深入的理解。

怎樣做笛卡爾積猾漫？

當Hive設定為嚴格模式（hive.mapred.mode=strict）時点晴，不允許在HQL語句中出現(xiàn)笛卡爾積，這實際說明了Hive對笛卡爾積支持較弱悯周。因為找不到Join key粒督，Hive只能使用1個reducer來完成笛卡爾積。

當然也可以用上面說的limit的辦法來減少某個表參與join的數(shù)據(jù)量禽翼，但對于需要笛卡爾積語義的需求來說屠橄，經(jīng)常是一個大表和一個小表的Join操作，結(jié)果仍然很大（以至于無法用單機處理）闰挡，這時MapJoin才是最好的解決辦法锐墙。

MapJoin，顧名思義长酗，會在Map端完成Join操作溪北。這需要將Join操作的一個或多個表完全讀入內(nèi)存。

MapJoin的用法是在查詢/子查詢的SELECT關(guān)鍵字后面添加提示優(yōu)化器轉(zhuǎn)化為MapJoin（目前Hive的優(yōu)化器不能自動優(yōu)化MapJoin）花枫。其中tablelist可以是一個表刻盐，或以逗號連接的表的列表。tablelist中的表將會讀入內(nèi)存劳翰，應該將小表寫在這里敦锌。

PS：有用戶說MapJoin在子查詢中可能出現(xiàn)未知BUG。在大表和小表做笛卡爾積時佳簸，規(guī)避笛卡爾積的方法是乙墙，給Join添加一個Join key颖变，原理很簡單：將小表擴充一列join key，并將小表的條目復制數(shù)倍听想，join key各不相同腥刹；將大表擴充一列join key為隨機數(shù)。

怎樣寫exist in子句汉买？

Hive不支持where子句中的子查詢衔峰，SQL常用的exist in子句需要改寫。這一改寫相對簡單蛙粘〉媛保考慮以下SQL查詢語句：

SELECT a.key, a.valueFROM aWHERE a.key in(SELECT b.keyFROM B);

可以改寫為

SELECT a.key, a.valueFROM a LEFT OUTER JOIN b ON (a.key = b.key)WHERE b.key <> NULL;

一個更高效的實現(xiàn)是利用left semi join改寫為：

SELECT a.key, a.valFROM a LEFT SEMI JOIN b on (a.key = b.key);

left semi join是0.5.0以上版本的特性。

Hive怎樣決定reducer個數(shù)出牧？

Hadoop MapReduce程序中穴肘，reducer個數(shù)的設定極大影響執(zhí)行效率，這使得Hive怎樣決定reducer個數(shù)成為一個關(guān)鍵問題舔痕。遺憾的是Hive的估計機制很弱评抚，不指定reducer個數(shù)的情況下，Hive會猜測確定一個reducer個數(shù)伯复，基于以下兩個設定：

1. hive.exec.reducers.bytes.per.reducer（默認為1000^3）

2. hive.exec.reducers.max（默認為999）

計算reducer數(shù)的公式很簡單：

N=min(參數(shù)2慨代，總輸入數(shù)據(jù)量/參數(shù)1)

通常情況下，有必要手動指定reducer個數(shù)边翼∮阆欤考慮到map階段的輸出數(shù)據(jù)量通常會比輸入有大幅減少，因此即使不設定reducer個數(shù)组底，重設參數(shù)2還是必要的。依據(jù)Hadoop的經(jīng)驗筐骇，可以將參數(shù)2設定為0.95*(集群中TaskTracker個數(shù))债鸡。

合并MapReduce操作

Multi-group by

Multi-group by是Hive的一個非常好的特性，它使得Hive中利用中間結(jié)果變得非常方便铛纬。例如厌均，

FROM (SELECT a.status, b.school, b.gender FROM status_updates a JOIN profiles b ON (a.userid = b.userid and a.ds='2009-03-20' ) ) subq1 INSERT OVERWRITE TABLE gender_summary PARTITION(ds='2009-03-20') SELECT subq1.gender, COUNT(1) GROUP BY subq1.gender INSERT OVERWRITE TABLE school_summary PARTITION(ds='2009-03-20') SELECT subq1.school, COUNT(1) GROUP BY subq1.school

上述查詢語句使用了Multi-group by特性連續(xù)group by了2次數(shù)據(jù)，使用不同的group by key告唆。這一特性可以減少一次MapReduce操作棺弊。

Multi-distinct

Multi-distinct是淘寶開發(fā)的另一個multi-xxx特性，使用Multi-distinct可以在同一查詢/子查詢中使用多個distinct擒悬，這同樣減少了多次MapReduce操作模她。