從Kafka流到Elasticsearch時的主題映射
[英]Topic mapping when streaming from Kafka to Elasticsearch
問題描述
當我傳輸或流傳輸兩個和三個表時，我可以輕松地在Elasticsearch中進行映射，但可以將主題自動映射到索引
我已經通過手動映射topic.index.map=topic1:index1,topic2:index2等將數據從PostgreSQL流式傳輸到ES。
我可以自動映射生產者發送的任何主題，然后消費者自動在ES連接器中消費嗎？
1 個解決方案
解決方案1
1 2018-12-03 20:27:37
默認情況下，主題直接映射到同名索引。
如果需要“更好”的控件，則可以在transforms屬性中使用RegexRouter
引用文檔
topic.index.map現在不推薦使用此選項。 將來的版本可能會完全刪除它。 請使用單個消息轉換（例如
RegexRouter）將主題名稱映射到索引名稱
如果無法為連接器中的每個主題捕獲單個正則表達式，請運行具有不同模式的更多連接器
嘗試使用Kafka Connect在Elasticsearch中為Kafka主題編制索引
[英]Trying to index kafka topic in Elasticsearch with Kafka Connect
kafka-connect-elasticsearch：當使用“write.method”作為 upsert 時，是否可以在 kafka 主題上使用相同的 AVRO object 來發送部分文檔？
[英]kafka-connect-elasticsearch: When using “write.method” as upsert, is it possible to use same AVRO object on kafka topic to send partial document?
Kafka Connect使用（json）消息中的字段將主題持久化到Elasticsearch索引
[英]Kafka Connect to persist topic to Elasticsearch index using field from (json) message
Kafka 連接器到 map 主題鍵作為 ElasticSearch 中的文檔 ID
[英]Kafka Connector to map topic key as document id in ElasticSearch
Kafka-connect elasticsearch用於索引的自動小寫主題名稱
[英]Kafka-connect elasticsearch auto-lowercase topic name for for index
如何設置電報配置以收集 Elasticsearch 中的 kafka 主題/分區滯后
[英]How set telegraf configuration to collect kafka topic/partition lags in Elasticsearch
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.
相關問題
無法將數據從 kafka 主題發送到 elasticsearch
kafka 連接器 elasticsearch 不消耗主題
嘗試使用Kafka Connect在Elasticsearch中為Kafka主題編制索引
使用logstash消費kafka主題到elasticSearch
Logstash Kafka主題作為Elasticsearch索引名的一部分
kafka-connect-elasticsearch：當使用“write.method”作為 upsert 時，是否可以在 kafka 主題上使用相同的 AVRO object 來發送部分文檔？
Kafka Connect使用（json）消息中的字段將主題持久化到Elasticsearch索引
Kafka 連接器到 map 主題鍵作為 ElasticSearch 中的文檔 ID
Kafka-connect elasticsearch用於索引的自動小寫主題名稱
如何設置電報配置以收集 Elasticsearch 中的 kafka 主題/分區滯后
相關標簽