bigquery汽蒸缓冲区持续多长时间

Question

我目前正在将数据从sql server数据库systme迁移到bigquery，在尝试从具有活动流缓冲区的bigquery表中删除记录时遇到了问题，您能确认流缓冲区在删除之前是否保持多长时间。所以删除操作可以针对它吗？ 我发现这在开发过程中造成了不必要的麻烦。

非常感谢您的帮助，我期待着您的来信。

最好的祝福，

Answer 1

根据官方文件

数据最多可能需要90分钟才能用于复制和导出操作。 同样，当流传输到分区表时，流缓存器中的数据的_PARTITIONTIME伪列的值为NULL。 要查看数据是否可用于复制和导出，请检查tables.get响应中名为streamingBuffer的部分。 如果该部分不存在，则您的数据应可用于复制或导出，并且_PARTITIONTIME伪列的值应为非空值。 此外，可以利用streamingBuffer.oldestEntryTime字段来标识流式缓冲区中记录的期限。

流到分区表中

在流式传输数据时，将过去7天到将来3天之间的数据放入流式缓冲区中，然后将其提取到相应的分区中。 此窗口之外（但在1年零6个月范围内）的数据放置在流缓冲区中，然后将其提取到UNPARTITIONED分区中。 当有足够的未分区数据时，会将其加载到相应的分区。

我们通过延迟删除请求或每24小时执行一次删除操作来解决您的问题。 您现在可以编写脚本删除查询，以使用streamingBuffer.oldestEntryTime作为参数，并尝试删除早于此的内容。

https://cloud.google.com/bigquery/streaming-data-into-bigquery