pyspark：Configparser 未從谷歌存儲讀取配置文件

Question

我正在嘗試通過 dataproc 運行的 pyspark 腳本從谷歌存儲桶中讀取配置文件。 但是文件沒有被讀取。

config = configparser.ConfigParser()
config.read('gs://<<google_bucket_location>>/example.ini')
[]

Answer 1

請注意，configparser 只讀取本地文件。 最好的選擇是將配置文件從 GCS 下載到 tmp 目錄並從那里讀取。