1.1操作：
1.2原因：
1)仗岖、key分布不均勻
2)李丰、業(yè)務(wù)數(shù)據(jù)本身的特性
3)惩系、建表時考慮不周
4)舵揭、某些SQL語句本身就有數(shù)據(jù)傾斜
1.3表現(xiàn)：
任務(wù)進(jìn)度長時間維持在99%（或100%）讹挎，查看任務(wù)監(jiān)控頁面校赤，發(fā)現(xiàn)只有少量（1個或幾個）reduce子任務(wù)未完成。因為其處理的數(shù)據(jù)量和其他reduce差異過大筒溃。
單一reduce的記錄數(shù)與平均記錄數(shù)差異過大马篮，通常可能達(dá)到3倍甚至更多怜奖。 最長時長遠(yuǎn)大于平均時長浑测。
2數(shù)據(jù)傾斜的解決方案
SQL語句調(diào)節(jié)：
如何Join：
關(guān)于驅(qū)動表的選取，選用join key分布最均勻的表作為驅(qū)動表
做好列裁剪和filter操作歪玲，以達(dá)到兩表做join的時候迁央，數(shù)據(jù)量相對變小的效果掷匠。
大小表Join：
使用map join讓小的維度表（1000條以下的記錄條數(shù)） 先進(jìn)內(nèi)存。在map端完成reduce.
大表Join大表：
把空值的key變成一個字符串加上隨機數(shù)岖圈，把傾斜的數(shù)據(jù)分到不同的reduce上讹语，由于null值關(guān)聯(lián)不上，處理后并不影響最終結(jié)果幅狮。
count distinct大量相同特殊值
count distinct時募强，將值為空的情況單獨處理，如果是計算count distinct崇摄，可以不用處理擎值，直接過濾，在最后結(jié)果中加1逐抑。如果還有其他計算鸠儿，需要進(jìn)行g(shù)roup by，可以先將值為空的記錄單獨處理厕氨，再和其他計算結(jié)果進(jìn)行union进每。
group by維度過小：
采用sum() group by的方式來替換count(distinct)完成計算命斧。
特殊情況特殊處理：
在業(yè)務(wù)邏輯優(yōu)化效果的不大情況下田晚，有些時候是可以將傾斜的數(shù)據(jù)單獨拿出來處理。最后union回去国葬。
3典型的業(yè)務(wù)場景
3.1空值產(chǎn)生的
場景：如日志中贤徒，常會有信息丟失的問題，比如日志中的 user_id汇四，如果取其中的 user_id 和 用戶表中的user_id 關(guān)聯(lián)接奈，會碰到數(shù)據(jù)傾斜的問題。
解決方法****1****： user_id為空的不參與關(guān)聯(lián)（篩選&加限制）
select *
from log a
join users b
on a.user_id is not null and a.user_id = b.user_id
union all
select *
from log a
where a.user_id is null;
解決方法****2 ****：賦與空值分新的key值
select *
from log a
left outer join users b
on case when a.user_id is null then concat(‘hive’,rand() ) else a.user_id end = b.user_id;
結(jié)論：方法2比方法1效率更好通孽，不但io少了序宦，而且作業(yè)數(shù)也少了。解決方法1中 log讀取兩次背苦，jobs是2互捌。解決方法2 job數(shù)是1 。這個優(yōu)化適合無效 id (比如 -99 , ’’, null 等) 產(chǎn)生的傾斜問題行剂。把空值的 key 變成一個字符串加上隨機數(shù)秕噪，就能把傾斜的數(shù)據(jù)分到不同的reduce上 ,解決數(shù)據(jù)傾斜問題。
3.2不同數(shù)據(jù)類型關(guān)聯(lián)
場景：用戶表中user_id字段為int硼讽，log表中user_id字段既有string類型也有int類型巢价。當(dāng)按照user_id進(jìn)行兩個表的Join操作時，默認(rèn)的Hash操作會按int型的id來進(jìn)行分配，這樣會導(dǎo)致所有string類型id的記錄都分配到一個Reducer中壤躲。
解決方法：把數(shù)字類型轉(zhuǎn)換成字符串類型
select * from users a
left outer join logs b
on a.usr_id = cast(b.user_id as string)
3.3小表不小不大城菊，怎么用 map join 解決傾斜問題
使用 map join 解決小表(記錄數(shù)少)關(guān)聯(lián)大表的數(shù)據(jù)傾斜問題，這個方法使用的頻率非常高碉克，但如果小表很大凌唬，大到map join會出現(xiàn)bug或異常，這時就需要特別的處理漏麦。 以下例子:
select * from log a
left outer join users b
on a.user_id = b.user_id;
users 表有 600w+ 的記錄客税，把 users 分發(fā)到所有的 map 上也是個不小的開銷，而且 map join 不支持這么大的小表撕贞。如果用普通的 join更耻，又會碰到數(shù)據(jù)傾斜的問題。
解決方法：
select /*+mapjoin(x)*/* from log a
left outer join (
select /*+mapjoin(c)*/d.*
from (
select distinct user_id from log ) c
join users d on c.user_id = d.user_id
) x
on a.user_id = b.user_id;
假如捏膨，log里user_id有上百萬個秧均，這就又回到原來map join問題。所幸号涯，每日的會員uv不會太多目胡，有交易的會員不會太多，有點擊的會員不會太多链快，有傭金的會員不會太多等等誉己。所以這個方法能解決很多場景下的數(shù)據(jù)傾斜問題。
