在zip中添加h5文件以与PySpark一起使用

Question

我将PySpark 1.6.1用于我的spark应用程序。 我还有其他模块正在使用--py-files参数加载。 我还有一个h5文件，我需要从其中一个模块访问该文件以初始化ApolloNet。

如果我将这些文件放在同一个存档中，有什么办法可以从模块访问这些文件？ 我尝试了这种方法，但是由于每个工作人员中都不存在文件，因此引发了错误。 我可以考虑将文件复制到每个工作人员，但是我想知道是否有更好的方法来执行此操作？

Answer 1

发现您可以通过使用spark-submit中的--files参数将其他文件添加到所有工作程序。