[英]kafka-connect-elasticsearch: How to sync elasticsearch with consumer group?
我想查询 Kafka 主题中的消息，但不是所有消息，而不是从头开始。 我只需要根据消费者组查看哪些消息尚未提交。 所以，基本上我想要的是删除偏移量低于消费者组偏移量的文档。
此时，如果我使用弹性连接器，是否有任何方法或解决方法可以在消息被消费和提交后从弹性索引中删除文档？
或者，我应该使用 Kafka Streams 以及如何使用？
接收器连接器仅在显式启用该属性并且您正在阅读的主题中的文档 ID 存在 null 值记录时删除文档。 这意味着您需要实际使用此 null 记录并由连接器处理
查看哪些消息尚未提交
这意味着连接器尚未处理的消息，使它们无法在 Elasticsearch 中搜索
删除偏移量小于消费者组偏移量的文档
如果您在 Elasticsearch 中创建了仅由连接器使用的新索引，则可以暂停连接器，然后截断索引，然后恢复连接器
在使用和提交消息后，是否有任何方法或解决方法可以从弹性索引中删除文档
直接使用DELETE API
kafka-connect-elasticsearch：如何发送文件删除？
[英]kafka-connect-elasticsearch: how to send deletes of documents?
kafka-connect-elasticsearch 如何将多个主题路由到同一连接器中的同一 elasticsearch 索引？
[英]kafka-connect-elasticsearch How to route multiple topics to same elasticsearch index in same connector?
kafka-connect-elasticsearch：如何根据 Kafka 主题的 header 中的某个值删除文档
[英]kafka-connect-elasticsearch: How to delete document based on certain value in header of the Kafka topic
kafka-connect-elasticsearch：将消息存储为预定义索引的格式
[英]kafka-connect-elasticsearch: storing messages as format of predefined index
Elasticsearch接收器仅使用kafka-connect-elasticsearch +时间戳SMT仅获得新消息，而不接收前一条消息
[英]Elasticsearch sink only get new messages and not the previous one using kafka-connect-elasticsearch + timestamp SMT
kafka-connect-elasticsearch：当使用“write.method”作为 upsert 时，是否可以在 kafka 主题上使用相同的 AVRO object 来发送部分文档？
[英]kafka-connect-elasticsearch: When using “write.method” as upsert, is it possible to use same AVRO object on kafka topic to send partial document?
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
