同事遇到一個問題洗鸵，無論從平臺哪里提交Hive SQL，都沒有進(jìn)度仗嗦，沒有日志膘滨。
鑒于之前已有類似反饋，檢查SQL涉及到的表的鎖稀拐，
show locks xxx_table; // hive sql
發(fā)現(xiàn)有若干shared鎖火邓，對表進(jìn)行解鎖操作
unlock table xxx_table; // hive sql
但是重新執(zhí)行sql依然有鎖表現(xiàn)象，sql主干如下（查出分區(qū)表B中某天用戶德撬，且不在歷史表A中存在铲咨，執(zhí)行前已a(bǔ)dd partition）
insert into table A partition(dt='20190131')
SELECT DISTINCT user_id, date FROM B WHERE dt='20190131'
and a.user_id not in
(select user_id from A);
發(fā)現(xiàn)不僅是無法插入，其中select user_id from A語句也無法執(zhí)行蜓洪，因?yàn)槭菧y試表纤勒，就重建了（事后估計是多個分區(qū)被鎖了，而且有X鎖隆檀，只解鎖表并不能遞歸對各分區(qū)解鎖）摇天。重建后select disctinct...這整段語句會GC memory exceeded粹湃，便改寫成如下框架（窗口函數(shù)去重替換distinct、外連接替換in）：
insert overwrite table A partition(dt='20190131')
select tmpa.user_id from
(
select tmp.user_id as user_id, tmp.date as date from
(
select t.*, row_number() over(partition by t.user_id order by t.date desc) as rn
from (select * from B WHERE dt='20190131' ) t
) tmp where tmp.rn=1
) tmpB
left outer join
(
select user_id from A
) tmpA
on tmpA.user_id=tmpB.user_id
where tmpA.user_id is null; // 其實(shí)最好用left semi join
這樣select語句可以跑了闸翅，但是整句sql依然鎖表再芋。
看了一下資料
Hive Lock 那些事兒
官方文檔
https://www.cnblogs.com/barneywill/p/10185577.html
發(fā)現(xiàn)select .. T1 partition P1語句需要T1, T1.P1上的S鎖，那么對整張分區(qū)表的select需要所有分區(qū)的S鎖坚冀。
回到語句济赎，join操作依賴A表的S鎖，但最終要寫入A表的一個新分區(qū)记某，又要加X鎖司训，造成了死鎖。所以需要讓A表待寫入的分區(qū)不加S鎖：
insert overwrite table A partition(dt='20190131')
select tmpa.user_id from
(
select tmp.user_id as user_id, tmp.date as date from
(
select t.*, row_number() over(partition by t.user_id order by t.date desc) as rn
from (select * from B WHERE dt='20190131' ) t
) tmp where tmp.rn=1
) tmpB
left outer join
(
select user_id from A where dt!='20190131' // 添加分區(qū)排除條件
) tmpA
on tmpA.user_id=tmpB.user_id
where tmpA.user_id is null;
成功執(zhí)行液南。
另外壳猜，在SQL執(zhí)行前設(shè)置hive參數(shù)set hive.support.concurrency=false; 可強(qiáng)制忽略鎖，但為了數(shù)據(jù)完整性滑凉，不建議常用此操作统扳。
