read_parquet Dask 中的類型錯誤

Question

我有一個名為data.parquet的鑲木地板文件。 我正在使用 Python 中的庫dask 。 當我跑線時

import dask.dataframe as dd
df = dd.read_parquet('data.parquet',engine='pyarrow')

我收到錯誤

TypeError                                 Traceback (most recent call last)
<ipython-input-22-807fa43763c1> in <module>
----> 1 df = dd.read_parquet('data.parquet',engine='pyarrow')

~/anaconda3/lib/python3.7/site-packages/dask/dataframe/io/parquet.py in read_parquet(path, columns, filters, categories, index, storage_options, engine, infer_divisions)
   1395         categories=categories,
   1396         index=index,
-> 1397         infer_divisions=infer_divisions,
   1398     )
   1399 

~/anaconda3/lib/python3.7/site-packages/dask/dataframe/io/parquet.py in _read_pyarrow(fs, fs_token, paths, columns, filters, categories, index, infer_divisions)
    858     _open = lambda fn: pq.ParquetFile(fs.open(fn, mode="rb"))
    859     for piece in dataset.pieces:
--> 860         pf = piece.get_metadata(_open)
    861         # non_empty_pieces.append(piece)
    862         if pf.num_row_groups > 0:

TypeError: get_metadata() takes 1 positional argument but 2 were given

我只是不明白為什么會發生這種情況，因為這就是這里的實現方式。

任何幫助將不勝感激！

Answer 1

我遇到了同樣的問題。 我通過升級版本 dask 2.30.0解決了