簡體   English   中英

Kafka-connect elasticsearch用於索引的自動小寫主題名稱

[英]Kafka-connect elasticsearch auto-lowercase topic name for for index

我正在使用elasticsearch sink kafka-connector將來自多個kafka主題的消息索引到elasticsearch。 我有關於camelCase命名的主題,但是無法更改。 因此,在啟動ES接收器連接器時,它不會索引任何內容,因為elaticsearch的非小寫索引名稱存在問題。

我知道我可以使用topic.index.map屬性將主題名稱手動轉換為索引。
topic.index.map=myTopic1:mytopic1, myTopic2:mytopic2,...

有沒有一種方法可以自動轉換為小寫? 我有幾十個主題需要轉換,我懷疑很快就會有一百個主題。

發現從5.1 ,如果未為該主題指定映射,則它們會自動執行此操作。
從這里

final String indexOverride = topicToIndexMap.get(topic);
String index = indexOverride != null ? indexOverride : topic.toLowerCase();

有關詳細信息,請參見此提交

從Elasticsearch接收器連接器的最新版本開始,這是自動完成的。 修復此問題的PR是https://github.com/confluentinc/kafka-connect-elasticsearch/pull/251

暫無
暫無

聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM