如何在云运行中使用 pandas dataframe 将大型 csv 文件加载到 bigquery？

Question

我在 gcs 中有 csv 个文件，我想在 bigquery 中加载它们，我正在使用 pandas 在 bigquery 中提取文件，但这些文件很大 (10gb)，我使用 cloud run 来执行作业：

     df=pd.read_csv(uri,sep=delimiter,dtype = str)

     # Run the load job
     load_job = client.load_table_from_dataframe(df, table)

我总是出错

    Memory limit of 512M exceeded with 519M used. Consider increasing the memory limit

如何为我的云运行选择最好的 memory，我可以使用 chunck dataframe 将数据加载到 bigquery 谢谢

Answer 1

坏主意是增加Cloud Run memory 。 （它不可扩展）

好主意是使用BigQuery CSV 导入功能。 如果您要对数据执行转换，则可以在 SQL 中执行这些转换后立即运行查询。