最近發(fā)現(xiàn)有些spark job自己停了涩嚣,一部分是因?yàn)榄h(huán)境資源原因一部分是因?yàn)槌绦虮旧淼膯栴}
如何查看已經(jīng)停止的spark job日志:
通過yarn application -list
或在yarn resource manager中查找到application的id,然后
yarn logs -applicationId application_1535505348755_0001 > log1.log
最近發(fā)現(xiàn)有些spark job自己停了涩嚣,一部分是因?yàn)榄h(huán)境資源原因一部分是因?yàn)槌绦虮旧淼膯栴}
如何查看已經(jīng)停止的spark job日志:
通過yarn application -list
或在yarn resource manager中查找到application的id,然后
yarn logs -applicationId application_1535505348755_0001 > log1.log