无声地传送到 BigQuery，无法创建 BigQuery 表

Question

我正在构建从 PubSub 到 Beam（Direct/Dataflow Runner）再到 Big Query 的数据管道。 今天我们开始遇到 beam IO BigQuery 连接器停止自动创建表并且没有生成错误消息（日志记录级别设置为 DEBUG）的问题。

下面是 BigQuery PTransform 的一个片段：

beam.io.WriteToBigQuery(
                table=bq_table,
                schema=to_bq_schema(table),
                write_disposition=beam.io.BigQueryDisposition.WRITE_APPEND,
                create_disposition=beam.io.BigQueryDisposition.CREATE_IF_NEEDED)

注意 bq_table 和 schema 应该是正确的。 我们甚至尝试将架构减少到单列。

Answer 1

我能够解决这个问题。 原来我的时间戳具有 +00000 时区意识。 调试它非常困难，因为它悄无声息地失败了，而且在运行器上附加调试器也不是一件容易的事。