kafka-connect-elasticsearch 如何將多個主題路由到同一連接器中的同一 elasticsearch 索引？

Question

嘗試使用以下配置創建 elasticsearch 接收器連接器，創建成功，但是當在“my.topic.one”上生成消息時，ES 接收器連接器在嘗試創建名稱為“my.topic.one”的索引時失敗：“無法創建索引'my.topic.one'”（我用來連接到 ES 的用戶沒有故意創建索引權限）。 為什么要嘗試創建新索引以及如何讓連接器索引到以前創建的“elasticsearch_index_name”？

{
            "type.name": "_doc", 
            "tasks.max": "1", 
            "connector.class": "io.confluent.connect.elasticsearch.ElasticsearchSinkConnector", 
            "connection.url": "http://elasticsearch-service:9200", 
            "behavior.on.null.values": "delete", 
            "key.ignore": "false", 
            "write.method": "upsert", 
            "key.converter": "org.apache.kafka.connect.storage.StringConverter", 
            "key.converter.schemas.enable": "false", 
            "value.converter": "org.apache.kafka.connect.storage.StringConverter", 
            "value.converter.schemas.enable": "false", 
            "topics": "my.topic.one,my.topic.two", 
            "transforms": "renameTopic",
            "transforms.renameTopic.type": "org.apache.kafka.connect.transforms.RegexRouter", 
            "transforms.renameTopic.regex": ".*",
            "transforms.renameTopic.replacement": "elasticsearch_index_name"
    } 

更新：即使我在“主題”屬性中僅使用一個主題並且在“renameTopic.regex”中使用相同的主題名稱，ES sink 連接器也會引發錯誤，如下所示，rest 所有屬性都相同。

"topics": "my.topic.one",
"transforms.renameTopic.regex": "my.topic.one"

Answer 1

將以下屬性添加到 ES sink 連接器配置，解決了手頭的問題：

"auto.create.indices.at.start": "false"