
[英]Problem importing modules from a .zip file (created in python using zipfile package) with --py-files on an EMR in Spark
[英]how create zip file for --py-files dependency
我有一个小项目,我需要使用python代码运行Spark-submit。 这是代码链接 。
[XXXXX pysparktest]$ ls
README.md spark_sample.py utils
如果我使用下面的spark-submit来运行此代码,则它成功。
$ spark-submit spark_sample.py
但是,我想使utils包成为zip文件,并通过--py-files的帮助将zipfile传递给spark提交
[XXXXXX pysparktest]$ ls
README.md spark_sample.py utils.zip
[XXXXXX pysparktest]$ spark-submit --py-files utils.zip spark_sample.py
当我尝试直接压缩utils包并通过spark-submit运行时,出现错误
Traceback (most recent call last):
File "/home/mapr/pysparktest/spark_sample.py", line 1, in <module>
from utils import SparkOperations
ImportError: No module named utils
谁能帮助我制作zip文件并使用--py-files参数传递zip文件。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.