从Kafka流到Elasticsearch时的主题映射
[英]Topic mapping when streaming from Kafka to Elasticsearch
问题描述
当我传输或流传输两个和三个表时，我可以轻松地在Elasticsearch中进行映射，但可以将主题自动映射到索引
我已经通过手动映射topic.index.map=topic1:index1,topic2:index2等将数据从PostgreSQL流式传输到ES。
我可以自动映射生产者发送的任何主题，然后消费者自动在ES连接器中消费吗？
1 个解决方案
解决方案1
1 2018-12-03 20:27:37
默认情况下，主题直接映射到同名索引。
如果需要“更好”的控件，则可以在transforms属性中使用RegexRouter
引用文档
topic.index.map现在不推荐使用此选项。 将来的版本可能会完全删除它。 请使用单个消息转换（例如
RegexRouter）将主题名称映射到索引名称
如果无法为连接器中的每个主题捕获单个正则表达式，请运行具有不同模式的更多连接器
尝试使用Kafka Connect在Elasticsearch中为Kafka主题编制索引
[英]Trying to index kafka topic in Elasticsearch with Kafka Connect
kafka-connect-elasticsearch：当使用“write.method”作为 upsert 时，是否可以在 kafka 主题上使用相同的 AVRO object 来发送部分文档？
[英]kafka-connect-elasticsearch: When using “write.method” as upsert, is it possible to use same AVRO object on kafka topic to send partial document?
Kafka Connect使用（json）消息中的字段将主题持久化到Elasticsearch索引
[英]Kafka Connect to persist topic to Elasticsearch index using field from (json) message
Kafka 连接器到 map 主题键作为 ElasticSearch 中的文档 ID
[英]Kafka Connector to map topic key as document id in ElasticSearch
Kafka-connect elasticsearch用于索引的自动小写主题名称
[英]Kafka-connect elasticsearch auto-lowercase topic name for for index
如何设置电报配置以收集 Elasticsearch 中的 kafka 主题/分区滞后
[英]How set telegraf configuration to collect kafka topic/partition lags in Elasticsearch
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
相关问题
无法将数据从 kafka 主题发送到 elasticsearch
kafka 连接器 elasticsearch 不消耗主题
尝试使用Kafka Connect在Elasticsearch中为Kafka主题编制索引
使用logstash消费kafka主题到elasticSearch
Logstash Kafka主题作为Elasticsearch索引名的一部分
kafka-connect-elasticsearch：当使用“write.method”作为 upsert 时，是否可以在 kafka 主题上使用相同的 AVRO object 来发送部分文档？
Kafka Connect使用（json）消息中的字段将主题持久化到Elasticsearch索引
Kafka 连接器到 map 主题键作为 ElasticSearch 中的文档 ID
Kafka-connect elasticsearch用于索引的自动小写主题名称
如何设置电报配置以收集 Elasticsearch 中的 kafka 主题/分区滞后
相关标签