modin pandas read_parquet() 在 ETag KeyError 上失败，试图从 s3 读取分区的镶木地板

Question

我从熊猫创建了一个数据框，并使用 to_parquet(...) 直接写入 s3。

论据是：

df.to_parquet('s3://bucket/fn.parquet', compression='gzip', engine='fastparquet', partition_cols=['col1'])

当我使用熊猫的pandas.read_parquet(url) ，数据pandas.read_parquet(url)加载良好。

但是当我使用modin.pandas.read_parquet(url) ，出现以下错误：

 File "/home/mguo/anaconda3/envs/testenv/lib/python3.7/site-packages/s3fs/core.py", line 1779, in __init__
    self.req_kw["IfMatch"] = self.details["ETag"]
KeyError: 'ETag'

以下是我的版本：

python==3.7.3
pandas==1.2.4
modin==0.10.0
s3fs==2021.6.0

Answer 1

此问题已被跟踪在GitHub上这里并固定在这里。

另一位用户在此处的回答中发布了指向 GitHub 问题的链接，但已被删除。 Mods，如果你看到这个帖子，请不要删除。