kafka在接收器連接器屬性中連接多個主題

Question

我正在嘗試使用Cassandra Sink連接器閱讀2個kafka主題，並將其插入2個Cassandra表中。 我該怎么做呢？

這是我的connector.properties文件：

name=cassandra-sink-orders
connector.class=com.datamountaineer.streamreactor.connect.cassandra.sink.CassandraSinkConnector
tasks.max=1
topics=topic1,topic2
connect.cassandra.kcql=INSERT INTO ks.table1 SELECT * FROM topic1;INSERT INTO ks.table2 SELECT * FROM topic2 
connect.cassandra.contact.points=localhost
connect.cassandra.port=9042
connect.cassandra.key.space=ks
connect.cassandra.contact.points=localhost
connect.cassandra.username=cassandra
connect.cassandra.password=cassandra

我做對了嗎？ 這是最好的方法，還是應該創建兩個單獨的連接器？

Answer 1

如果您想在一個使用者中使用這兩個主題，那是正確的設置。 最好的方法取決於這些消息是否應由一個或兩個使用者使用。 因此，這取決於您的業務邏輯。

無論如何，如果您想通過一個應該使用的消費者來消費兩個主題，因為消費者可以訂閱多個主題，所以應該找到該主題。 您是否嘗試運行此使用者？ 工作正常嗎？

Answer 2

您的配置存在一個問題。 每個主題分區需要一項任務。 因此，如果您的主題有一個分區，則需要將tasks.max設置為至少2。

我沒有在Connect的文檔中看到它，這很可惜