Kafka與Cassandra數據庫連接

Question

我將Kafka用於多種用途，但是我想使用Kafka的connect API，但我無法理解為什么使用Kafka connect的區別，而不是編寫我們自己的使用者組並在任何數據庫中編寫消息而無需進行操作寫復雜的東西，而無需像Kafka-connect那樣添加其他軟件包，例如confluent。

Answer 1

Connect as a framework負責故障轉移，您也可以在分布式模式下運行它，以擴展您的數據導入/導出“作業”。 因此，Connect確實是一次“一勞永逸”的體驗。 此外，對於Connect，您無需編寫任何代碼-您只需配置連接器。

如果您是手動構建的，則基本上可以解決已經由Connect解決的問題（例如，重新發明輪子）。 不要低估此任務的復雜性-表面上聽起來直截了當，但看起來卻更加復雜。

Answer 2

Kafka Connect為想要將數據移入和移出Apache Kafka的用戶和開發人員提供了有用的抽象。

用戶可以從不斷增長的現有連接器集合中選擇一個連接器 ，只需提交適當的配置，即可快速，有效地將其數據與Kafka集成。 開發人員可以為他們的特殊用例實現連接器，而不必擔心生產者和消費者集群的底層管理以及如何進行這樣的集群規模擴展（如Matthias所述）。

在軟件中經常發生這種情況，如果特定的軟件抽象不符合您的需求，則可能必須降低一個或多個抽象級別，並使用較低級別的結構編寫代碼。 在我們的案例中，這些是Kafka的生產者和消費者，它們仍然是相當強大且易於使用的抽象，用於將數據移入和移出Kafka。

現在轉到您要指的特定點，這就是在Kafka Connect中通常稱為處理不良或不兼容數據的點，目前，這主要是Connector開發人員的責任。 但是，我們打算為框架提供方法，以促進此類不良數據的處理，並使之更多地是配置問題，而不是連接器實現。 那是在不久的將來的路線圖中。