Google BigQuery 负载大小限制为 10485760 字节

Question

我们在尝试将数据流式传输到 bigquery 表时遇到错误，它说：有效负载大小限制为 10485760 字节，有人知道吗？ 根据我们用来将数据从 sql server 移动到 bigquery 表的第三方集成供应商的说法，他们建议这是 bigquery 的问题？

谢谢。 最好的祝福，

Answer 1

BigQuery有一些最大限制，也有一些配额政策，您可以在此处看到。

Streaming 的限制是：

• 如果在插入行时不填充 insertId 字段：

  • 每秒最大行数：1,000,000
    
  • 每秒最大字节数：1 GB

• 如果在插入行时填充 insertId 字段：

  • 每秒最大行数：100,000
  • 每秒最大字节数：100 MB

• 无论您是否填充 insertId 字段，以下附加流配额均适用：

  • 最大行大小：1 MB
  • HTTP 请求大小限制：10 MB
  • 每个请求的最大行数：每个请求 10,000 行
  • insertId 字段长度：128

我希望它有帮助

Answer 2

事实上，流媒体限制是每个请求 10MB。

根据https://cloud.google.com/bigquery/quotas ，行大小为 1MB

您需要做的是并行化流作业。 BigQuery 支持每秒高达 1M/行。