努力從 Google Cloud Storage 存儲桶中讀取 csv 文件

Question

GCS 存儲桶的文件夾中有一些 CSV 文件。 我正在使用這些代碼來訪問和讀取這些 CSV 文件作為熊貓數據框：

from google.cloud import storage
import gcsfs
import fsspec
storage_client = storage.Client()

blobs = storage_client.list_blobs('pipe_ml-data', prefix='postive_data_file/')
all_files = list(blobs)
all_files = all_files[1::]
for blob in all_files:
    file_path = "gs://pipe_ml-data/{}".format(blob.name)
    content = pd.read_csv(file_path)
    content.head()
    break

但得到以下錯誤：

---------------------------------------------------------------------------
ImportError                               Traceback (most recent call last)
/var/folders/9q/h73jxwsx0f1629kdwpdfmdb80000gn/T/ipykernel_31809/388262887.py in <module>
      1 from google.cloud import storage
----> 2 import gcsfs
      3 import fsspec
      4 storage_client = storage.Client()
      5 

/opt/anaconda3/lib/python3.9/site-packages/gcsfs/__init__.py in <module>
      3 __version__ = get_versions()["version"]
      4 del get_versions
----> 5 from .core import GCSFileSystem
      6 from .mapping import GCSMap
      7 

/opt/anaconda3/lib/python3.9/site-packages/gcsfs/core.py in <module>
     18 from fsspec.utils import stringify_path, setup_logging
     19 from fsspec.callbacks import NoOpCallback
---> 20 from fsspec.implementations.http import get_client
     21 from .retry import retry_request, validate_response
     22 from .checkers import get_consistency_checker

/opt/anaconda3/lib/python3.9/site-packages/fsspec/implementations/http.py in <module>
     16 from fsspec.exceptions import FSTimeoutError
     17 from fsspec.spec import AbstractBufferedFile
---> 18 from fsspec.utils import DEFAULT_BLOCK_SIZE, isfilelike, nullcontext, tokenize
     19 
     20 from ..caching import AllBytes

ImportError: cannot import name 'isfilelike' from 'fsspec.utils' (/opt/anaconda3/lib/python3.9/site-packages/fsspec/utils.py)

我已經安裝並導入了 gcsfs 以及 fsspec 庫。 沒有任何幫助。 你能給我一個解決方案嗎？

Answer 1

fsspec.utils.isfilelike 看起來很新，就像在過去幾個月（4 月 22 日）一樣，所以我猜你遇到了某種版本問題（比如你正在導入 fsspec 2022.3. 0 或更早版本，而不是 2022.5.0 或更高版本）。

使用pip show fsspec類的命令查看您是否安裝了 2022.5.0 或更高版本。