为我们的数据创建自动空警报

Question

我想为我们的数据创建一个自动警报，例如空值、不等量等。它会发送到我们的电子邮件。 存储在 bigquery 中的数据。 我如何创建这个？

如果数据库有空值、空值、不相等，它会自动发送到我们的电子邮件。

例如看。 表格发票检测到 0 行，您可以从 XX 开始检查。 和 XY 表。

或为提前看。 表格发票检测到 0 行，您可以从 XX 开始检查。 和 XY 表。 这是因为 XYZ。

Answer 1

解决此请求的最简单方法是在应用引擎或云功能之上开发自定义解决方案，以便您可以运行自己的查询并触发电子邮件通知。

这种方法不会实时提醒您，而是根据时间表提醒您。

如果您的用例与 INSERT 语句和实时分析相关，另一种选择是利用日志记录警报。

这将触发基于 INSERT 事件的警报，因此您需要构建自己的查询并相应地设置警报。

你可以从这样的事情开始：

resource.type="bigquery_resource"
protoPayload.methodName="jobservice.insert"

Answer 2

如果您不想创建自定义解决方案，那么Great Expectations框架听起来可能很适合您。

这是一个用于定义您期望的数据属性的系统。 它可以连接到 BigQuery。 它可以配置为在您的测试（“期望”）失败时向您发送电子邮件。

您仍然需要自己托管系统（他们将在 2023 年推出云解决方案）。

如果你想快速上手并且不容易访问托管，你也可以考虑 DBT（数据构建工具）。 DBT 可以连接到 BigQuery 并允许您运行测试（尽管这不是它的主要目的）。 这些测试可以包括对空数据的检查。 您可以为更复杂的检查编写自定义测试。

我提到它是因为他们已经有一个付费的云解决方案 DBT Cloud，是的，如果您的测试失败，您可以发送电子邮件通知。 根据具体情况，这可能是获得所需内容的最快方式。