BQ表中的值发生变化时如何触发scala/python代码

Question

我们想在 GCP VM 中连续运行（轮询）scala/python 代码，只有当 BQ 表中的值发生变化时才会运行 ETL 程序。 即我们将添加要在 BQ 表中运行的 ETL，并基于该 ETL 程序将通过 GCP VM 运行。

如果 BQ 表中有多个值，则应同时运行多个 ETL 程序。

我们如何才能实现同样的目标。

Answer 1

要在 BQ 更新时运行您的代码，您可以使用无服务器选项，如云运行。 这是一个简单的过程，只要 BQ 获得更新日志就会生成，我们可以根据生成的日志创建云运行触发器。 本文档中解释了整个实施过程，请查看。