在 apache beam 中创建自定义接收器

Question

我正在使用 apache beam 并尝试创建自定义接收器，不幸的是找不到任何关于如何创建自定义接收器的指南。有人可以指导吗？

以前在 Dataflow 中，我曾经覆盖com.google.cloud.dataflow.sdk.io.Sink中可用的 Sink

我似乎无法在 Beam 中找到类似的调用。它在 Beam 中的某个地方仍然可用吗？

我正在使用 Beam 2.3 SDK 和 Java

Answer 1

请参阅https://beam.apache.org/documentation/io/authoring-overview/并查看 Beam SDK 中包含的其他write()转换的实现。

Sink接口已被删除，因为我们发现在任何情况下它都不会比仅实现由 ParDo、GBK 和其他转换组成的复合转换提供任何价值。 另请参阅我最近关于 Beam 中的 IO 的演讲（ 幻灯片）以及为什么源/汇不应该是一个特殊的 API，而应该是简单的复合转换。