pyspark：Configparser 未从谷歌存储读取配置文件

Question

我正在尝试通过 dataproc 运行的 pyspark 脚本从谷歌存储桶中读取配置文件。 但是文件没有被读取。

config = configparser.ConfigParser()
config.read('gs://<<google_bucket_location>>/example.ini')
[]

Answer 1

请注意，configparser 只读取本地文件。 最好的选择是将配置文件从 GCS 下载到 tmp 目录并从那里读取。