Elasticsearch Kafka Connector-根據消息值設置索引

Question

我有以下格式的消息通過Kafka主題發送：

{"elasticsearch_index": "index_1", "first_name": "Jane"}
{"elasticsearch_index": "index_2", "first_name": "John"}

請注意，每條消息均包含我們希望將記錄路由到的所需Elasticsearch索引。 是否可以使用Confluent的Elasticsearch Kafka Connector將這些記錄路由到適當的索引名稱（例如， elasticsearch_index鍵下面列出的內容）？

看起來單消息轉換（SMT）當前不支持此行為，但也許我讀錯了。 任何信息將不勝感激。

Answer 1

兩種選擇：

1. 使用Single Message Transform API編寫自己的Transform
2. 首先使用KSQL（或Kafka Streams）將消息路由到所需主題，然后使用新的（Apache Kafka 1.1）正則表達式功能將這些主題從Kafka Connect降落到Elasticsearch。