繁体   English   中英

如何为--py-files依赖关系创建zip文件

how create zip file for --py-files dependency

提示:本站收集StackOverFlow近2千万问答,支持中英文搜索,鼠标放在语句上弹窗显示对应的参考中文或英文, 本站还提供   中文繁体   英文版本   中英对照 版本,有任何建议请联系yoyou2525@163.com。

我有一个小项目,我需要使用python代码运行Spark-submit。 这是代码链接

[XXXXX pysparktest]$ ls
README.md  spark_sample.py  utils

如果我使用下面的spark-submit来运行此代码,则它成功。

$ spark-submit spark_sample.py

但是,我想使utils包成为zip文件,并通过--py-files的帮助将zipfile传递给spark提交

[XXXXXX pysparktest]$ ls
README.md  spark_sample.py  utils.zip

[XXXXXX pysparktest]$ spark-submit --py-files utils.zip spark_sample.py

当我尝试直接压缩utils包并通过spark-submit运行时,出现错误

Traceback (most recent call last):
  File "/home/mapr/pysparktest/spark_sample.py", line 1, in <module>
    from utils import SparkOperations
ImportError: No module named utils

谁能帮助我制作zip文件并使用--py-files参数传递zip文件。

问题暂未有回复.您可以查看右边的相关问题.
1 使用带有--py文件的.zip文件(使用zipfile包在python中创建)导入模块时出现问题

我试图将我的应用程序存档在我的测试文件中以激发EMR集群上的提交,如下所示: 模块的文件夹结构: 我正在通过测试调用Zip函数 deps.zip是正确创建的,据我所知,它会压缩我想要的所有文件,每个模块文件夹都在zip的基础级别。 实际上使用以下命令创建的确切zip: z ...

2 如何--py-files在pyspark内部工作

我是pySpark的新手。 我在spark-submit命令中使用了类似下面的--py文件将所有文件复制到工作节点。 在日志中我发现它将pyFiles.zip存储在.sparkStaging目录中,如下所示。 当我将上面的文件复制到我的特定本地目录时,它仍然显示为zip文件,无 ...

4 如何在pyspark上将zips与--py-files一起使用?

我正在尝试编写一些pyspark作业,这些作业依赖于要包含在作业中的模块,而不是在全局群集上安装。 我决定尝试使用zip文件进行此操作,但似乎无法使其正常工作,而且似乎也找不到在野外进行此操作的示例。 我正在通过运行构建zip: 这将创建一个名为./build/dist/my ...

5 为什么Zeppelin不支持--py-files?

我有一个python软件包,其中许多模块内置于.egg文件中,我想在齐柏林飞艇笔记本中使用此模块。 请访问ze​​ppelin文档,将该包传递到zeppelin spark解释器,可以通过conf / zeppelin-env.sh中SPARK_SUBMIT_OPTIONS中的--files选 ...

7 无法导入带有py文件的压缩库

我必须维护与pyspark一起运行的oll代码。 它使用的是我从未见过的方法。 我将一些可重用的代码压缩到了一个ingestion.zip文件中。 然后,使用pipeline.cfg文件调用该文件,如下所示: 当我尝试如下所示导入库时,我无法让Pycharm理解该lib应该指向zip文件。 ...

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2021 STACKOOM.COM