[英]spark-submit job log tracing
我在纱线模式下运行火花作业。 我正在使用spark-submit在Unix shell脚本中运行作业。 我想将spark-submit命令日志保留在日志文件中的Unix文件夹中。
我试过了
spark-submit --master yarn --deploy-mode client --num-executors 10 --executor-memory 2G --driver-memory 2G --jars $spark_jars --class $spark_class $main_jar |& tee -a ${log_file}
使用tee命令。 然后我检查上述命令的状态为
if [ $? -eq 0 ]; then
echo "===========SPARK JOB COMPLETED==================" |& tee -a ${log_file}
else
echo "===========SPARK JOB FAILED=====================" |& tee -a ${log_file}
fi
但是如果由于某些问题或异常导致Spark工作失败,则$? 不能正确捕获错误,而是我完成了火花作业。
任何人都可以建议处理此问题的推荐方法。
我的要求是在文件中同时包含Spark日志和Unix脚本日志
监视应用程序状态的最佳方法是使用yarn rest api。
您可以将yarn log命令用于日志,也可以将yarn api用于日志。
毛线记录-appOwner'dr.who'-applicationId application_1409421698529_0012 | 减
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.