使用 Cloud Function 将数据从 Cloud Storage 加载到 BigQuery（替代函数？）
[英]Loading data into BigQuery from Cloud Storage using Cloud Function (Alternative to functions?)
原文
2019-04-13 02:33:10
6
1
google-cloud-platform/
google-bigquery/
google-cloud-storage/
google-cloud-functions/
etl
问题描述
我目前正在使用 Cloud Function 将数据从 Cloud Storage 中的csv文件加载到 BigQuery。
但是，Cloud Functions 有超时限制，我预计这些文件会变得足够大，从而导致出现问题。
此外，插入大查询限制为10mb/insert_rows 。
除了 Cloud Functions，我还可以使用什么来使它正常工作？ 需要在文件放入 Cloud Storage 时触发。
1 个解决方案
解决方案1
2 已采纳 2019-04-13 03:02:05
如果您从 a.CSV 插入文件，请使用批量加载作业。 要求 BigQuery 加载文件是亚秒级的工作，BigQuery 将以异步模式继续加载它们。
这些加载是免费的，您的云函数不需要等待它完成。
您将能够设置一个通知，在每次将新文件放入您的 GCS 存储桶时调用云函数。
使用 Cloud Functions 中的服务帐户将数据从 GCS 上传到 Bigquery
[英]Upload data from GCS to Bigquery using service account in Cloud Functions
从 Google Cloud Storage 加载 csv 文件时出现 BigQuery 错误
[英]BigQuery error when loading csv file from Google Cloud Storage
从 BigQuery 查询和使用 Cloud Storage 的结果加载文件之间的费用差异是多少？
[英]What is the cost difference between querying from BigQuery and loading a file with the results from Cloud Storage?
如何使用 Cloud Functions 读取存储在 Google Cloud Storage 中的 CSV 数据
[英]How to read CSV data stored in Google Cloud Storage with Cloud Functions
将表从 Google BigQuery 导出到 Google Cloud Storage 时出现权限错误
[英]Permissions Error Exporting a table from Google BigQuery to Google Cloud Storage
将多个文件从 Cloud Storage 导入 BigQuery 的命令
[英]Command to import multiple files from Cloud Storage into BigQuery
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
相关问题
将数据从云存储上传到 bigquery
使用 Cloud Functions 中的服务帐户将数据从 GCS 上传到 Bigquery
从 Google Cloud Storage 加载 csv 文件时出现 BigQuery 错误
从云存储桶加载数据时找不到数据集错误
从 BigQuery 查询和使用 Cloud Storage 的结果加载文件之间的费用差异是多少？
如何使用 Cloud Functions 读取存储在 Google Cloud Storage 中的 CSV 数据
使用 java 云 function 写入 bigquery
将文件从 Firebase 云函数上传到云存储
将表从 Google BigQuery 导出到 Google Cloud Storage 时出现权限错误
将多个文件从 Cloud Storage 导入 BigQuery 的命令
相关标签