用於Kafka Connect的Elasticsearch連接器-偏移量和時間戳

Question

我正在為kafka connect使用elasticsearch連接器（匯合）。 我正在從主題獲取消息進入Elasticsearch索引。 我可以看到，如果不使用任何鍵，則偏移量是_id的一部分。 我想基於偏移量和時間戳在elasticseach中瀏覽消息。

是否可以獲取消息的偏移量和時間戳作為索引中的字段？

這是elasticsearch文件

{ "_index": "test-elasticsearch-sink", "_type": "kafka-connect", "_id": "test-elasticsearch-sink+0+0", "_score": 1, "_source": { "f1": "value1" } }

謝謝，拉傑什

Answer 1

目前尚不可能，但是我們正在考慮一項功能，該功能將允許提升記錄元數據，例如timestamp ， topic ， partition ，對字段的offset 。

Answer 2

使用單消息轉換，您確實可以添加新字段，包括諸如偏移量和時間戳記的值。 看看org.apache.kafka.connect.transforms.InsertField 。