read_parquet Dask 中的类型错误

Question

我有一个名为data.parquet的镶木地板文件。 我正在使用 Python 中的库dask 。 当我跑线时

import dask.dataframe as dd
df = dd.read_parquet('data.parquet',engine='pyarrow')

我收到错误

TypeError                                 Traceback (most recent call last)
<ipython-input-22-807fa43763c1> in <module>
----> 1 df = dd.read_parquet('data.parquet',engine='pyarrow')

~/anaconda3/lib/python3.7/site-packages/dask/dataframe/io/parquet.py in read_parquet(path, columns, filters, categories, index, storage_options, engine, infer_divisions)
   1395         categories=categories,
   1396         index=index,
-> 1397         infer_divisions=infer_divisions,
   1398     )
   1399 

~/anaconda3/lib/python3.7/site-packages/dask/dataframe/io/parquet.py in _read_pyarrow(fs, fs_token, paths, columns, filters, categories, index, infer_divisions)
    858     _open = lambda fn: pq.ParquetFile(fs.open(fn, mode="rb"))
    859     for piece in dataset.pieces:
--> 860         pf = piece.get_metadata(_open)
    861         # non_empty_pieces.append(piece)
    862         if pf.num_row_groups > 0:

TypeError: get_metadata() takes 1 positional argument but 2 were given

我只是不明白为什么会发生这种情况，因为这就是这里的实现方式。

任何帮助将不胜感激！

Answer 1

我遇到了同样的问题。 我通过升级版本 dask 2.30.0解决了