[英]Does dataflow support custom triggers or updating trigger delays?
TL:DR; 是否可以创建自定义触发器,仅在设置了某个标志时触发? 当我们知道正在发生大数据事件时,是否可以使用具有巨大延迟的触发器部署作业,然后在事件结束后将触发器部署到具有正常或无延迟的触发器的更新?
继续之后: 删除窗口触发/启动之间的重复项
这种情况发生最有问题(数百万次重复点火)的情况是我们正在对旧数据进行回填。 鉴于我们知道这种情况何时发生,我想知道我们是否可以实现一个自定义触发器,该触发器在设置标志时不会触发。 那是可能的吗? 或者,我们是否可以使用触发器部署作业,该触发器在回填过程中包含大量延迟,然后在完成时使用正常触发器发出更新?
Dataflow尚不支持基于某些单独元数据的自定义触发器或触发器。 但是,您可以使用Update更改处理时间触发器的频率; 只需更改plusDelay()构建器函数的值,并正常运行--update。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.