kafka 連接elasticsearch 連接器（接收器）數據移動（幾乎）實時

Question

對將數據從 kafka 移動到 elasticsearch 感興趣。 所以我已經設置了kafka connect elasticsearch 連接器。

盡管我查看了所有文檔和配置，但我還沒有找到如何配置連接器以（近）實時地將數據從 kafka 移動到 elasticsearch。

也就是說，讓連接器每秒消耗來自（kafka）主題的消息並將它們寫入elasticsearch，模擬從kafka到elasticsearch的消息流。

這是連接器的當前配置：

{
  "name": "elasticsearch-sink",
  "config": {
    "connector.class": "io.confluent.connect.elasticsearch.ElasticsearchSinkConnector",
    "tasks.max": "1",
    "topics": "foo",
    "key.ignore": "true",
    "schema.ignore": "true",
    "connection.url": "http://elasticsearch:9200",
    "type.name": "kafka-connect",
    "name": "elasticsearch-sink"
  }
}

需要如何配置連接器才能將消息從 kafka “流式傳輸”到 elasticsearch？

Answer 1

由於Kafka Sink Connector基於consumer ，您可以通過消費者屬性（例如max.poll.interval.ms ， max.poll.records ）控制輪詢間隔。 要配置，只需添加帶有前綴consumer.消費者屬性consumer. 到您的連接器配置：

消費者.max.poll.records=1