在 GCP 中将数据从 VM 实例传输到 BigQuery

Question

我正在尝试将一些文件传输到存储在我的 VM 实例中的 BigQuery。 通常我们做一个两步的过程：

1. 将文件从 VM 实例传输到 Cloud Storage 存储分区。
2. 将数据从 Cloud Storage 存储分区获取到 BigQuery。

现在，我想将文件直接从 VM 实例带到 BigQuery 平台。 有什么办法吗？

Answer 1

您可以使用以下方法直接从可读数据源（例如本地计算机）加载数据：

• Cloud Console 或经典 BigQuery web 界面
• bq 命令行工具的 bq load 命令
• API
• 客户端库

请按照官方文档查看每种方式的使用示例。

此外，如果您想保留将文件发送到 Cloud Storage 存储桶的想法，您可以考虑使用 Dataflow 模板：

• 云存储文本到 BigQuery ( Stream )
• 云存储文本到 BigQuery（ 批量）

它允许您读取存储在 Cloud Storage 中的文本文件，使用您提供的 JavaScript 用户定义 Function (UDF) 和 output 将结果转换为它是自动化的解决方案。

我希望您发现上述信息有用。

Answer 2

解决方案是为此使用 bq 命令。 命令如下： bq load --autodetect --source_format=CSV xy abc.csv