modin pandas read_parquet() 在 ETag KeyError 上失敗，試圖從 s3 讀取分區的鑲木地板

Question

我從熊貓創建了一個數據框，並使用 to_parquet(...) 直接寫入 s3。

論據是：

df.to_parquet('s3://bucket/fn.parquet', compression='gzip', engine='fastparquet', partition_cols=['col1'])

當我使用熊貓的pandas.read_parquet(url) ，數據pandas.read_parquet(url)加載良好。

但是當我使用modin.pandas.read_parquet(url) ，出現以下錯誤：

 File "/home/mguo/anaconda3/envs/testenv/lib/python3.7/site-packages/s3fs/core.py", line 1779, in __init__
    self.req_kw["IfMatch"] = self.details["ETag"]
KeyError: 'ETag'

以下是我的版本：

python==3.7.3
pandas==1.2.4
modin==0.10.0
s3fs==2021.6.0

Answer 1

此問題已被跟蹤在GitHub上這里並固定在這里。

另一位用戶在此處的回答中發布了指向 GitHub 問題的鏈接，但已被刪除。 Mods，如果你看到這個帖子，請不要刪除。