Kafka連接接收器連接器與多個分區主題

Question

我們想使用 Kafka 連接接收器連接器來將消息從 Kafka 復制到 Mongo DB。 在我們的用例中，我們有多個主題，每個主題都有一個分區（主題的名稱可以是正則表達式，例如，topic.XXX.name）。 這些話題的數量不斷增加。 我想知道 Kafka 連接架構是否適合這個用例。 如果是這樣，如何配置獲得高可擴展性和並行性？ tasks.max 是什么？ 工人人數？

Answer 1

Kafka Connect 很靈活； 答案是你需要的。

每個連接工作程序的運行任務數量大多僅受每個工作程序的 JVM 堆大小限制。 添加更多工作人員將使您擁有更多的活動連接器。

但是，對於接收器連接器，您只能擁有與消耗的主題分區總數一樣多的總任務。

但是，要擔心的一件事是，隨着您添加越來越多的主題，消費者組會頻繁重新平衡。 因此，建議為任何關鍵數據創建獨立的連接器