Hive 卡在map = 0%, reduce = 0%階段
解決:增加map個(gè)數(shù),設(shè)置mapreduce.input.fileinputformat.split.maxsize 小于系統(tǒng)默認(rèn)值篮迎,需要綜合考慮調(diào)用更多map時(shí)候的消耗
定位時(shí)發(fā)現(xiàn)任務(wù)卡在map = 0%, reduce = 0%階段男图,而且發(fā)現(xiàn)map分配數(shù)量很少,所以猜測分配map較慢甜橱,增加map數(shù)量可解決問題逊笆,實(shí)際效果任務(wù)從3小時(shí)減少至半個(gè)小時(shí),優(yōu)化完成岂傲。