如何在pyspark提交一个tar.gz文件

Question

我处于客户端部署模式，我想提交一个包含运行时、代码和库的tar.gz的应用程序。

目的不依赖于特定 python 运行时的 spark 集群（例如 spark 集群具有 python 3.5 版本，我的代码需要 3.7 版本）或集群上未安装的库。

我发现可以提交 python 文件以及.jar文件。

Answer 1

使用 venv 为 pyspark 作业使用 python 的虚拟环境版本。

设置好 venv 后执行命令：

spark-submit --master yarn-client --conf spark.pyspark.virtualenv.enabled=true  --conf spark.pyspark.virtualenv.type=native --conf spark.pyspark.virtualenv.requirements=<requirementsFile> --conf spark.pyspark.virtualenv.bin.path=<virtualenv_path> --conf spark.pyspark.python=<python_path> <pyspark_file>

看看： Using VirtualEnv with PySpark

Answer 2

只需在 Python 内使用即可

spark.sparkContext.addPyFile("module.zip")

或者你可以做

spark-submit --py-files module.zip yourapp.py

另请参阅此处的 Spark API