apache spark：添加JVM參數

Question

我想將 jdbc 驅動程序與 apache 火花一起使用，但 jdbc 存在一個奇怪的問題，即時區轉換。 這個問題在這里解釋。

解決方案建議我們應該添加此參數

-Duser.timezone=UTC

我做了一些搜索，發現我可以設置這些參數：

spark.driver.extraJavaOptions
spark.executor.extraJavaOptions

但我不知道我應該在哪里添加它？ 在主配置文件中？

spark-env.sh
spark-defaults.conf

在奴隸配置文件中？

spark-env.sh
spark-defaults.conf

或者直接在我的應用程序中的 SparkConf 中？

Answer 1

您可以在應用程序的 SparkConf 中設置，也可以在 spark-defaults.conf 中設置。