Kafka 和 Kafka Connect 部署環境

Question

如果我已經在本地運行了 Kafka，Kafka Connect 只是我現有 Kafka 之上的一個配置，還是 Kafka Connect 需要它自己的服務器/環境與我現有的 Kafka 的服務器/環境分開？

Answer 1

Kafka Connect 是 Apache Kafka 的一部分，但它作為一個單獨的進程運行，稱為 Kafka Connect Worker 。 除了在沙盒環境中，您通常會將其部署在與 Kafka 代理不同的機器/節點上。

此圖從概念上顯示了它的運行方式，與您的代理分開：

您可以在單個節點上或作為集群的一部分（用於吞吐量和冗余）運行 Kafka Connect。

您可以在此處閱讀有關Kafka Connect 的安裝、配置和架構的更多信息。

Answer 2

Kafka Connect 是在bootstrap-server配置之上的自己的配置。

對於 Kafka Connect，您可以在獨立服務器或分布式連接服務器之間進行選擇，並且您必須更新相應的屬性文件以指向您當前運行的 Kafka 服務器。

查看{kafka-root}/config ，你會看到

您基本上將根據需要更新連接獨立或連接分布式屬性。