将数据插入 Bigquery 表的最佳方法

Question

我想知道是否有任何首选方法可以将数据插入到 bigquery 表中？

我将新行插入到 Cloud Composer DAG 末尾的 BQ 表中。 我使用了基于BigQueryOperator的自定义运算符，如下所示：

INSERT INTO `<project>.<dataset>.<table> (col1,col2,col3)
VALUES
(ccc,ccc,ddd),
(...,...,...)

添加到表中的值最多可达 500 行（...、...、...），但通常约为 10-100 行。

有推荐/更好的方法来做到这一点吗？ 我不知道是否值得通过 GCS，因为包含所有行的“文件”不会很大。

Answer 1

请注意， INSERT有成本（插入的数据大小），而通过 GCS 加载作业是免费的。

传统上INSERT不是一种选择，但现在为了方便起见。

如果成本可以忽略不计，这是最方便的选择 - go。