使用 python 從 GCP 存儲桶中遞歸讀取所有子文件夾中的 csv 個文件

Question

我試圖使用 python pandas 從 GCP 存儲桶中可用的所有子文件夾遞歸加載所有 csv 文件。

目前我正在使用dask加載數據，但速度很慢。

import dask
path = "gs://mybucket/parent_path + "*/*.csv"
getAllDaysData = dask.dataframe.read_csv(path).compute()

有人可以用更好的方法幫助我。

Answer 1

我建議改為閱讀鑲木地板文件。 並使用pd.read_parquet(file, engine = 'pyarrow')將其轉換為 pandas dataframe。

Answer 2

或者，您可能需要考慮先將數據加載到 BigQuery 中。 只要所有 csv 文件都具有某種結構，您就可以這樣做。

uri = f"gs://mybucket/parent_path/*.csv"
job_config = bigquery.LoadJobConfig(
    source_format=bigquery.SourceFormat.CSV
)

load_job = client.load_table_from_uri(
    uri,
    'destination_table',
    job_config=job_config,
    location=GCP_LOCATION
)
load_job_result = load_job.result()