如何引用通过spark-submit的--py-files选项提供的模块.egg文件？

Question

我正在使用带有py-files选项的spark-submit来包含我构建的一个鸡蛋（ spark_submit_test_lib-0.1-py2.7.egg ）。 该.egg的结构基本上是：

root
|- EGG-INFO
|- spark_submit_test_lib
     |- __init__.pyc
     |- __init__.py
     |- spark_submit_test_lib.pyc
     |- spark_submit_test_lib.py
         |- def do_sum()

在我的驱动程序脚本spark_submit_test.py我具有以下导入：

from spark_submit_test_lib import do_sum

我使用以下方式提交到hadoop集群：

spark-submit --queue 'myqueue' --py-files spark_submit_test_lib-0.1-py2.7.egg --deploy-mode cluster --master yarn spark_submit_test.py

它因错误而失败：

ImportError: No module named spark_submit_test_lib

我尝试将import语句更改为

from spark_submit_test_lib.spark_submit_test_lib import do_sum

但无济于事，仍然出现相同的错误。

我看到有人遇到类似的问题（在这种情况下，他/她希望通过火花提交来使用.egg中的文件作为驱动程序-这样的问题类似，但并不相同）：在什么情况下应该使用什么文件路径或点符号？在.egg文件中使用spark-submit.py作为--py-files的参数，但是在编写本文时还没有答案。

Answer 1

这个命令对我有用

spark2-submit --master yarn \
            --driver-memory 20g \
            --num-executors 50 \
            --executor-cores 1 \
            --deploy-mode client \
            --jars spark-avro_2.11-3.2.0.jar \
            --py-files spark_submit_test_lib-0.1-py2.7.egg \
            driver.py 

Answer 2

我认为这是由于--py-files参数旨在提供将由spark群集上的节点而非驱动程序中的节点使用的文件这一事实。 我相信您的驱动程序python程序需要是本地的。 我对此可能是错的，但这就是我所经历的，也是我对您所链接问题的最终结论。