kafka在接收器连接器属性中连接多个主题

Question

我正在尝试使用Cassandra Sink连接器阅读2个kafka主题，并将其插入2个Cassandra表中。 我该怎么做呢？

这是我的connector.properties文件：

name=cassandra-sink-orders
connector.class=com.datamountaineer.streamreactor.connect.cassandra.sink.CassandraSinkConnector
tasks.max=1
topics=topic1,topic2
connect.cassandra.kcql=INSERT INTO ks.table1 SELECT * FROM topic1;INSERT INTO ks.table2 SELECT * FROM topic2 
connect.cassandra.contact.points=localhost
connect.cassandra.port=9042
connect.cassandra.key.space=ks
connect.cassandra.contact.points=localhost
connect.cassandra.username=cassandra
connect.cassandra.password=cassandra

我做对了吗？ 这是最好的方法，还是应该创建两个单独的连接器？

Answer 1

如果您想在一个使用者中使用这两个主题，那是正确的设置。 最好的方法取决于这些消息是否应由一个或两个使用者使用。 因此，这取决于您的业务逻辑。

无论如何，如果您想通过一个应该使用的消费者来消费两个主题，因为消费者可以订阅多个主题，所以应该找到该主题。 您是否尝试运行此使用者？ 工作正常吗？

Answer 2

您的配置存在一个问题。 每个主题分区需要一项任务。 因此，如果您的主题有一个分区，则需要将tasks.max设置为至少2。

我没有在Connect的文档中看到它，这很可惜