1)如果spark任務執(zhí)行成功执解,不會自動重試
2)如果spark任務執(zhí)行失敗,手動提交時不會重試
3)如果spark任務執(zhí)行失敗剖煌,腳本自動調(diào)教時會重試一次
配置參數(shù)--conf spark.yarn.maxAppAttempts=0即可材鹦。
想不明白逝淹,為什么手動提交沒有問題耕姊,腳本提交會自動重試。栅葡≤岳迹看配置文件也沒看到該配置,網(wǎng)上說默認是4欣簇。應該是yarn配置的是1规脸。
spark.yarn.maxAppAttempts
The maximum number of attempts that will be made to submit the application. It should be no larger than the global number of max attempts in the YARN configuration.