[英]Apache Beam Wait.on JdbcIO.write with unbounded PCollection issue
我正在尝试将以下场景与无界 pCollection 数据源（PubSub）一起使用。 https://issues.apache.org/jira/browse/BEAM-6732
我能够写入 DB1。 DB2 有一个 Wait.on DB1 (PCollection.withResults)。 但不幸的是 DB2 没有得到更新。
当我将源更改为有界虚拟 PCollection 时，它可以工作。 任何输入表示赞赏。
您对 DB1 转换的写入是否具有正确的 windows 和触发器？
正如我在 Jira 上提到的，您的无界管道中是否有任何 Windows 使用？ 只有在相应的 window 已完全写入第一个数据库后，才开始写入另一个数据库。 否则，它将永远等待。
我们可以在具有Apache Beam管道的单个CloudSQL连接中的JDBCIO.write函数中执行多个插入查询吗？
[英]Can we execute multiple insert queries in JDBCIO.write function in single CloudSQL connection with an apache beam pipeline?
Apache Beam：扁平化 PCollection <List<Foo> > 到 PCollection<Foo>
[英]Apache Beam: Flattening PCollection<List<Foo>> to PCollection<Foo>
如何使用 JDBCIO (apache beam) 执行存储过程/例程
[英]How to execute stored procedure/routine with JDBCIO (apache beam)
如何将 JSON Array 反序列化为 Apache beam PCollection<javaobject></javaobject>
[英]How to deserialize JSON Array to Apache beam PCollection<javaObject>
如何为 PCollection 设置编码器<List<String> > 在 Apache Beam 中？
[英]How do I set the coder for a PCollection<List<String>> in Apache Beam?
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
