如何將配置從火花提交傳遞到紗線簇？

Question

我想知道有沒有辦法通過火花提交來臨時更改紗線作業的配置？

問題是因為我們的Spark over yarn群集的歷史記錄服務器僅允許管理員訪問，這對用戶檢索自己的作業日志不方便。 我了解到mapreduce-default.xml中的“ mapreduce.job.acl-view-job ”可以更改特定作業的ACL。 當我使用spark-submit來啟動作業時，“-conf”是為spark本身保留的，但是如何從命令行和應用程序一起設置yarn的配置呢？

Answer 1

您可以通過添加帶有--conf的spark.hadoop.來修改Spark的Hadoop配置（通過SparkContaxt.hadoopConfiguration獲得） spark.hadoop. 前綴。

在你的例子中

spark-submit --conf spark.hadoop.mapreduce.job.acl-view-job=YOUR_ACL_STATEMENT ...