Kafka 節點宕機時 Kafka Connect 掛起

Question

我們正在測試 kafka 連接，在我們的測試中注意到，當我們的 kafka 節點之一出現故障或不可用時，kafka 連接就會關閉（掛起）。

在我們的休息和分布式屬性中，我們的代理配置如下所示：dp-kafka-01:9092、dp-kafka-02:9092、dp-kafka-03:9092。

我們正在考慮使用負載平衡器來維持正常運行時間，但我有興趣了解 1) 其他人是否遇到此問題 2) 他們的解決方案。

非常感謝。

Answer 1

將負載均衡器放在 Connect REST API 前面不會阻止它們在代理失敗時崩潰。

您需要更好地管理 Kafka，以防止整個系統宕機。