我可以使用Java从Cometd主题读取流数据到Apache Beam吗？

Question

我有一个制作人在一个彗星主题上吐出消息。 我需要从该主题中选择并处理消息流。 我大概花了两个小时，试图找到一种将Cometd上的消息直接摄取到Apache Beam中的方法。 我好像在撞墙。 我知道我有以下选择：

1. 从主题中获取数据，将数据写入kafka，然后将数据从kafka推送到梁。
2. 从主题获取，将数据写入GCP上的pub / sub，然后将其推送到Apache Beam。

上面的两个选项似乎都在体系结构中包括一个额外的组件。 有没有更好的方法可以做到这一点？ 有什么例子吗？ 代码样本？ 指针？

Answer 1

我还不知道有人为Beam编写或启动了CometD连接器。 当前的连接器在https://beam.apache.org/documentation/io/built-in/中列出。 要编写自己的代码，您可以尝试模仿其他基本流连接器之一的代码，例如AMQP，MQTT或JMS（Kafka和Pubsub非常先进，我不建议您通过其源代码来指导您的实现）。