如何在 StreamSets Data Collector 中加入多个 Kafka 主题？

Question

我有一个用例，我必须根据 StreamSets Data Collector 中的某些标准“加入”多个 Kafka 主题。 我想知道是否有一些常用的成语可以解决这样的问题？

Answer 1

StreamSets Data Collector 确实不是此类工作的正确工具，因为 Data Collector 管道只能有一个来源。

您应该查看StreamSets Transformer ，它是基于 Spark 构建的，专门用于连接多个数据流并执行类似的任务。

Answer 2

如何使用 Kafka Multitopic Consumer 1然后 Stream Selector Processor 2根据您的标准路由到垃圾或处理？