使用 Kubernetes、Python 和 Apache-Spark 3.2.0 在客戶端模式下運行 spark 的兩個單獨圖像？

Question

我使用從 Python 的分發文件夾運行的腳本部署了 Apache Spark 3.2.0：

./bin/docker-image-tool.sh -r <repo> -t my-tag -p ./kubernetes/dockerfiles/spark/bindings/python/Dockerfile build

我可以使用 Spark-Submit 在 K8s 下創建一個容器就好了。 我的目標是運行為客戶端模式與本地模式配置的 spark-submit，並期望為執行程序創建額外的容器。

我創建的圖像是否允許這樣做，或者我是否需要使用 docker-image 工具創建第二個圖像（沒有 -p 選項）並在不同的容器中進行配置？

Answer 1

事實證明，如果您正在運行 PySpark，則只需要一張圖片。 使用客戶端模式，代碼會為您生成執行程序和工作程序，一旦您創建了 spark-submit 命令，它們就會運行。 Spark 2.4 版的重大改進！