繁体   English   中英

如何为--py-files依赖关系创建zip文件

[英]how create zip file for --py-files dependency

我有一个小项目,我需要使用python代码运行Spark-submit。 这是代码链接

[XXXXX pysparktest]$ ls
README.md  spark_sample.py  utils

如果我使用下面的spark-submit来运行此代码,则它成功。

$ spark-submit spark_sample.py

但是,我想使utils包成为zip文件,并通过--py-files的帮助将zipfile传递给spark提交

[XXXXXX pysparktest]$ ls
README.md  spark_sample.py  utils.zip

[XXXXXX pysparktest]$ spark-submit --py-files utils.zip spark_sample.py

当我尝试直接压缩utils包并通过spark-submit运行时,出现错误

Traceback (most recent call last):
  File "/home/mapr/pysparktest/spark_sample.py", line 1, in <module>
    from utils import SparkOperations
ImportError: No module named utils

谁能帮助我制作zip文件并使用--py-files参数传递zip文件。

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM