Spark-Scala基于像Prod / UAT等环境读取application.conf文件

Question

我在AWS EMR上运行了一个spark应用程序。 我们在AWS上有不同的环境，比如prod，uat，dev等。我创建了带有所需变量的application.conf文件，例如s3 buket，iam role等。但显然这些变量对于每个env都是不同的。

如何将不同的conf文件传递给spark-submit，这样我就不必在部署期间为每个环境更改application.conf文件？

Answer 1

根据@ozeebee在这篇文章中给出的答案，我们也可以将它用于spark-submit。

在spark-submit中，您需要在spark.driver.extraJavaOptions中指定属性，如下所示：

spark-submit 
--conf "spark.driver.extraJavaOptions=-Dconfig.resource=devtest.conf" 
--class thesyscat.query.ingest.eventenrichment.EventEnrichSparkApp 
--master yarn 
--deploy-mode client 
<jar_location>