kafka 连接elasticsearch 连接器（接收器）数据移动（几乎）实时

Question

对将数据从 kafka 移动到 elasticsearch 感兴趣。 所以我已经设置了kafka connect elasticsearch 连接器。

尽管我查看了所有文档和配置，但我还没有找到如何配置连接器以（近）实时地将数据从 kafka 移动到 elasticsearch。

也就是说，让连接器每秒消耗来自（kafka）主题的消息并将它们写入elasticsearch，模拟从kafka到elasticsearch的消息流。

这是连接器的当前配置：

{
  "name": "elasticsearch-sink",
  "config": {
    "connector.class": "io.confluent.connect.elasticsearch.ElasticsearchSinkConnector",
    "tasks.max": "1",
    "topics": "foo",
    "key.ignore": "true",
    "schema.ignore": "true",
    "connection.url": "http://elasticsearch:9200",
    "type.name": "kafka-connect",
    "name": "elasticsearch-sink"
  }
}

需要如何配置连接器才能将消息从 kafka “流式传输”到 elasticsearch？

Answer 1

由于Kafka Sink Connector基于consumer ，您可以通过消费者属性（例如max.poll.interval.ms ， max.poll.records ）控制轮询间隔。 要配置，只需添加带有前缀consumer.消费者属性consumer. 到您的连接器配置：

消费者.max.poll.records=1