kafka-connect-elasticsearch：將消息存儲為預定義索引的格式

Question

例：

{"id":"1","firstName":"abc","lastName":"xyz","dob":"12/09/1995","age":"23"}

這個消息結構在kafka主題中，但是我想在elasticsearch中對此進行索引，如下所示

{"id":"1","name"{"firstName":"abc","lastName":"xyz"},"dob":"12/09/1995","age":"23"}

我怎樣才能做到這一點？

Answer 1

兩種選擇：

1. 針對Kafka主題中的數據進行流處理。 使用Kafka Streams，您可以根據需要整理數據模型。 KSQL可以逆向工作，但尚不支持創建 STRUCT。 其他流處理選項包括Flink，Spark Streaming等

2. 使用單消息轉換修改通過Kafka Connect傳遞的數據。 沒有預構建的轉換可以執行此操作，但是您可以使用API編寫一個。

免責聲明：我在開源KSQL項目背后的公司Confluent工作，為Kafka Streams，Kafka Connect等做出了貢獻。