使用 py 文件导入压缩库失败

Question

我必须维护一个使用 pyspark 运行的 oll 代码。它使用了一种我从未见过的方法。 我将一些可重用代码压缩到文件 ingestion.zip 中。 然后，使用 pipeline.cfg 文件调用此文件，如下所示：

[spark]
master=spark://master
py-files=${HOME}/lib/ingestion.zip
spark-submit=${SPARK_HOME}/bin/spark-submit

当我尝试如下所示导入库时，我无法让 Pycharm 理解该库应该指向 zip 文件。

from ingestion.data import csv, storage

我已经看到 zip 是 spark-submit 使用 py-files 提出的解决方案，但我怎样才能让它在我的 IDE 上运行？

Answer 1

我没有在 pycharm 中使用以下方法，但它适用于我们的 spark-submit，我们可以使用正常的导入语句导入这些模块。 实际上，我们要导入的文件很少，我们需要快速导入。 因此，如果您也有相同的用例，并且如果 pycharm 允许，那么也许您可以尝试一下。

--py-files s3://bucket-name/module1.py,s3://bucket-name/module2.py,s3://bucket-name/module3.py,s3://bucket-name/module4.py" （注意 - 不应该有任何空格。）

（注意 - 这个建议只是一个临时解决方案，直到有人回答更好的答案。）