Bigquery 在流式传输时无法加载所有数据

Question

嗨，我正在通过 C++ 将数据从我的应用程序流式传输到 Bigquery。 一切正常，一切都可以连接，但问题是日志文件说流缓冲区中有 665 在此处输入图像描述

但是，表中的最终记录只有 4 条。有人知道解决这个问题吗？ 在此处输入图像描述

Answer 1

“估计行数”只是一个估计值。

BigQuery 中的流式数据是实时可用的（尽管表复制命令最多可能需要 90 分钟）。 我建议阅读这篇文章以获取更多信息。

听起来您认为自己正在丢失数据。 那不太可能。 我建议检查您认为插入的内容与实际进入表格的内容。

Answer 2

感谢您的大力支持。 我们发现问题的发生是因为在我们编写的代码中，“insertId”应该是唯一的，否则，BQ 会删除具有相似 insertID 的行。 在代码中，它发生是因为我们只设置了 insertID = 'rowdetail'。 将其更改为时间插入（ddmmyyhhmmss）后，管道运行正常。

希望对你和大家有帮助