如何在雲運行中使用 pandas dataframe 將大型 csv 文件加載到 bigquery？

Question

我在 gcs 中有 csv 個文件，我想在 bigquery 中加載它們，我正在使用 pandas 在 bigquery 中提取文件，但這些文件很大 (10gb)，我使用 cloud run 來執行作業：

     df=pd.read_csv(uri,sep=delimiter,dtype = str)

     # Run the load job
     load_job = client.load_table_from_dataframe(df, table)

我總是出錯

    Memory limit of 512M exceeded with 519M used. Consider increasing the memory limit

如何為我的雲運行選擇最好的 memory，我可以使用 chunck dataframe 將數據加載到 bigquery 謝謝

Answer 1

壞主意是增加Cloud Run memory 。 （它不可擴展）

好主意是使用BigQuery CSV 導入功能。 如果您要對數據執行轉換，則可以在 SQL 中執行這些轉換后立即運行查詢。