使用条件停止 BigQuery 脚本

Question

我正在运行一个 BigQuery 脚本来生成一个表。 该脚本假定存在另一个表，执行一些转换，并将转换后的数据放入 output 表中。 但是，如果输入表不符合某些条件，我希望脚本终止执行（并可能发布消息）。 使用条件终止 BigQuery 脚本的最佳方式是什么？

Answer 1

要在没有任何外部应用程序调用 BigQuery API 并执行需求检查（这是一种更好的方式，更易于维护和发展）的情况下实现这一点，是创建一个计划查询。 在这种情况下，它是为重复请求而设计的。 如果没有，请用您喜欢的语言编写代码。

因此，使用 BigQuery 计划查询，您可以执行查询、定义目标表并定义通知渠道

设置所需的 PubSub 主题。 但是，此消息不是自定义的。 您将获得最新执行的状态和原因。 然后，您将需要深入了解查询期间究竟发生了什么，并执行复杂的代码来读取日志并找到根本原因。

如果你的检查想知道状态 OK/KO，这个解决方案是合适的，如果不是，更喜欢你自己的代码，你将有更好的错误管理粒度。