Kafka 連接 - 每個連接器有多少任務

Question

正如我從文檔和其他參考資料中看到的那樣，無論通過屬性 (tasks.num) 定義的值如何，似乎連接器都將使用單個任務進行實例化

• 分布式官方 Mongodb Kafka Source Connector with Multiple tasks 不工作
• Kafka Connect 中的連接器和任務之間有什么關系？

1. 這個屬性tasks.num是否會像故障轉移等那樣產生影響？ 比如說，如果tasks.num配置為 2 並且 jdbc 連接器與單個任務一起使用，並且如果該任務失敗並且其他任務將接管？
2. 在這種情況下，分布式模式的意義是什么，實際上，連接器是用單個任務創建的？

Answer 1

對於鏈接的源連接器，這是因為它使用單個 Change Stream cursor 。 您究竟如何期望多個任務不會獲得沖突的信息，例如讀取相同的數據並將其復制到主題中？

Connect 運行源和接收器。 許多源只支持單個任務，但這取決於它們的內部線程 model； 例如，每個集合/表可以有一個任務，但是如果只有一個統一的項目，例如更改流或 binlog，那么只能有一個任務。 您提到了 JDBC，但是如果 CDC 支持您的數據庫，則 Debezium 將是首選。

分發也是為了容錯，而不僅僅是可擴展性。 只有部分異常是可恢復的，可以在其他節點上重啟