繁体   English   中英

Kafka-connect elasticsearch用于索引的自动小写主题名称

[英]Kafka-connect elasticsearch auto-lowercase topic name for for index

我正在使用elasticsearch sink kafka-connector将来自多个kafka主题的消息索引到elasticsearch。 我有关于camelCase命名的主题,但是无法更改。 因此,在启动ES接收器连接器时,它不会索引任何内容,因为elaticsearch的非小写索引名称存在问题。

我知道我可以使用topic.index.map属性将主题名称手动转换为索引。
topic.index.map=myTopic1:mytopic1, myTopic2:mytopic2,...

有没有一种方法可以自动转换为小写? 我有几十个主题需要转换,我怀疑很快就会有一百个主题。

发现从5.1 ,如果未为该主题指定映射,则它们会自动执行此操作。
从这里

final String indexOverride = topicToIndexMap.get(topic);
String index = indexOverride != null ? indexOverride : topic.toLowerCase();

有关详细信息,请参见此提交

从Elasticsearch接收器连接器的最新版本开始,这是自动完成的。 修复此问题的PR是https://github.com/confluentinc/kafka-connect-elasticsearch/pull/251

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM