Kafka Connect Elasticsearch 帶有自定義路由的接收器連接器

Question

我正在嘗試為 Elasticsearch 6.x 鍛煉 Kafka Connect Sink 連接器

從內容豐富的博客中，我可以看到可以將文檔路由到不同的 Elasticsearch 索引。

問題

如何在使用 ES sink 連接器時提供自定義 _routing 值。 例如，如果我的文檔具有 Kafka 消息值中存在的字段“customerId”，我如何選擇它的值作為_routing以便文檔落在索引的正確分片中。

Answer 1

confluent提供的 Kafka 連接連接器直到版本 11.0.0，其中沒有文檔路由選項。 因此，不可能使用任何 SMT 在連接器本身上設置 ES 索引的文檔路由。 但是可以使用管道在 ES 索引上設置自定義路由。

在此處查看相關答案。 它展示了如何設置管道並在 elasticsearch 上使用它。