如何--py-files在pyspark内部工作

Question

我是pySpark的新手。 我在spark-submit命令中使用了类似下面的--py文件将所有文件复制到工作节点。

spark-submit --master yarn-client  --driver-memory 4g --py-files /home/valli/pyFiles.zip /home/valli/main.py

在日志中我发现它将pyFiles.zip存储在.sparkStaging目录中，如下所示。

hdfs://cdhstltest/user/valli/.sparkStaging/application_1550968677175_9659/pyFiles.zip

当我将上面的文件复制到我的特定本地目录时，它仍然显示为zip文件，无法读取其中的文件。 但是当我试图找出当前文件目录时，它显示为hdfs_directory / pyfiles.zip / module1.py并且能够执行py文件。 据我所知--py-files会通过自动解压缩将zip文件夹中的所有.py文件复制到工作节点中。

任何人都可以帮助我了解屏幕背后发生的事情吗？

提前致谢。