問題描述
做數(shù)據(jù)開發(fā)的同學(xué)都需要在Hadoop集群客戶端上通過crontab配置shell腳本的調(diào)度（有調(diào)度系統(tǒng)的另說啦）牢酵，這些腳本可能在一臺機器上馍乙，也可能不是垫释，相互之間有數(shù)據(jù)上的依賴關(guān)系，通常我們會根據(jù)各個腳本的運行時長显蝌，設(shè)置調(diào)度時間订咸，考慮好時間間隔。
正常情況下骆撇，統(tǒng)計數(shù)據(jù)第二天都會按時出現(xiàn)在業(yè)務(wù)系統(tǒng)的報表中父叙。但有時候可能出現(xiàn)其中某一個腳本因為無法預(yù)期的原因沒有正常執(zhí)行，那么后續(xù)的腳本肯定也不會有結(jié)果屿岂。
思考
出了問題就要補數(shù)據(jù)鲸匿，手動的一個個的起腳本就很low了。如果可以做到前面的腳本出問題运授，后續(xù)腳本等待而不結(jié)束任務(wù)，當(dāng)前面腳本恢復(fù)執(zhí)行結(jié)果以后柒室，后續(xù)腳本自動運行逗宜，那就方便多了。
方案
來了iqiyi以后擂仍，發(fā)現(xiàn)這里同事的做法是熬甚，通過在每個腳本最后創(chuàng)建Hadoop hdfs的文件標(biāo)識任務(wù)正常結(jié)束，其他需要依賴的別人數(shù)據(jù)的腳本肃廓，在腳本最開始每間隔固定時間判斷依賴的Hadoop hdfs文件是否生成诲泌，如果沒生成就一直等待敷扫，直到前置數(shù)據(jù)完成了當(dāng)前的腳本向下運行。
舉個栗子
- 前置腳本例子
#!/bin/sh
if [ $# -eq 0 ];
then
DT=`date -d"1 days ago" +'%F'`
else
DT=$1
fi
###############################
## 這里寫自己任務(wù)的邏輯代碼
###############################
if [ $? == 0 ];#判斷之前的任務(wù)有沒有正常結(jié)束呻澜，如果正常結(jié)束就創(chuàng)建Hadoop hdfs的文件
then
if ! hadoop fs -test -e "/data/sqoopdata/$DT/xxx.done"
then
hadoop fs -touchz "/data/sqoopdata/$DT/xxx.done"
fi
else
exit 1
fi
- 后續(xù)腳本例子
#!/bin/sh
###############################
##需要依賴別的腳本產(chǎn)生的數(shù)據(jù)，
##所以得判斷該腳本的任務(wù)是否正常執(zhí)行了
###############################
if [ $# -eq 0 ];
then
DT=`date -d"1 days ago" +'%F'`
else
DT=$1
fi
while :
do
if ! hadoop fs -test -e "/data/sqoopdata/$DT/xxx.done"
then
echo "xxx data of $DT doesn't exist"
sleep 60
else
break
fi
done
結(jié)語
在沒有調(diào)度系統(tǒng)的時候惨险，上述的方法會起到一定腳本依賴關(guān)系的維護作用羹幸，補數(shù)據(jù)的時候也省事一些，只要把出問題的腳本重跑就可以了辫愉。
缺點栅受，腳本多了以后，肯定亂恭朗，需要對業(yè)務(wù)比較清楚才知道各個階段生成了哪些數(shù)據(jù)屏镊。不過，只要是每個腳本都規(guī)范的寫痰腮，把依賴的Hadoop hdfs文件抽出來而芥，單獨建一個公共的腳本，以備各個業(yè)務(wù)腳本引用棍丐，邏輯還是可以很清楚的误辑。
