Kubernetes spark-submit

Question

我正在嘗試使用 kuberenets 作為spark集群管理器。 我還想將容器日志發送到splunk 。 現在我確實在同一個命名空間中部署了監控堆棧（fluent-bit、prometheus 等），它的工作方式是，如果您的pod具有某個environment_variable ，它將開始讀取日志並將其推送到splunk 。 我無法找到的是如何設置環境變量並填充它

bin/spark-submit \
   --deploy-mode cluster \
   --class org.apache.spark.examples.SparkPi \
   --master k8s://https://my-kube-cluster.com \
   --conf spark.executor.instances=2 \
   --conf spark.app.name=spark-pi \
   ....
   ....
   ....
   --conf spark.kubernetes.driverEnv.UID="set it to spark driver pod id" \
   local:///opt/spark/examples/jars/spark-examples_2.11-2.4.4.jar

Answer 1

要配置額外的 Spark Driver Pod 環境變量，您可以傳遞額外的--conf spark.kubernetes.driverEnv.EnvironmentVariableName=EnvironmentVariableValue （請參閱文檔以獲取更多詳細信息）。

要配置額外的 Spark Executor Pods 環境變量，您可以傳遞額外的--conf spark.executorEnv.EnvironmentVariableName=EnvironmentVariableValue （請參閱文檔以獲取更多詳細信息）。

希望能幫助到你。