在 apache beam 中創建自定義接收器

Question

我正在使用 apache beam 並嘗試創建自定義接收器，不幸的是找不到任何關於如何創建自定義接收器的指南。有人可以指導嗎？

以前在 Dataflow 中，我曾經覆蓋com.google.cloud.dataflow.sdk.io.Sink中可用的 Sink

我似乎無法在 Beam 中找到類似的調用。它在 Beam 中的某個地方仍然可用嗎？

我正在使用 Beam 2.3 SDK 和 Java

Answer 1

請參閱https://beam.apache.org/documentation/io/authoring-overview/並查看 Beam SDK 中包含的其他write()轉換的實現。

Sink接口已被刪除，因為我們發現在任何情況下它都不會比僅實現由 ParDo、GBK 和其他轉換組成的復合轉換提供任何價值。 另請參閱我最近關於 Beam 中的 IO 的演講（ 幻燈片）以及為什么源/匯不應該是一個特殊的 API，而應該是簡單的復合轉換。