具有自定義消費者組名稱的 Kafka Sink 連接器

Question

在 kafka connect 中，所有的 sink 連接器將使用不同的組，命名轉換為connect-connector_name 。 但我想使用自定義名稱作為前綴。（我們可以在接收器配置 - name properties中進行，但尋找默認設置）

我試圖在consumer.properties文件中設置它，但沒有用。

有誰知道它是怎么設置的？ 另外，如果我為所有接收器連接器設置一個組會發生什么？

Answer 1

Sink 任務的ConsumerConfig group.id總是有connect-前綴

https://issues.apache.org/jira/browse/KAFKA-4400

---

consumer.properties用於（可選） kafka-console-consumer ，而不是 Connect API

---

如果我為所有接收器連接器設置一個組，會發生什么情況？

你的意思是一個name的單一連接器？ 然后你會希望tasks.max等於它所消耗的所有主題的總分區。

如果您的意思是多個連接器，那么您不能； 同一 Connect 集群中的所有連接器都需要一個唯一的name connector.class對

Answer 2

您可以覆蓋任何消費者或生產者屬性。 您必須在工作配置中使用connector.client.config.override.policy = All （默認為None ）。 然后，您可以在屬性consumer.override.group.id 。 例如：

{
  "consumer.override.group.id": "testgroup",
  "name": "Elasticsearch",
  "config": {
  "connector.class": "io.confluent.connect.elasticsearch.ElasticsearchSinkConnector",
  "topics": "orders",
  "tasks.max": 1,
  "connection.url": "http://elasticsearch:9200",
  "type.name": "type.name=kafkaconnect",
  "key.ignore": "true",
  "schema.ignore": "false",
  "transforms": "renameTopic",
  "transforms.renameTopic.type": "org.apache.kafka.connect.transforms.RegexRouter",
  "transforms.renameTopic.regex": "orders",
  "transforms.renameTopic.replacement": "orders-latest"
}'

文檔在這里

如果您在 docker 中使用來自映像confluentinc/cp-kafka-connnect-base kafka-connect，則可以從環境變量CONNECT_CONNECTOR_CLIENT_CONFIG_OVERRIDE_POLICY設置此配置