[英]kafka-connect-elasticsearch: How to sync elasticsearch with consumer group?
我想查詢 Kafka 主題中的消息，但不是所有消息，而不是從頭開始。 我只需要根據消費者組查看哪些消息尚未提交。 所以，基本上我想要的是刪除偏移量低於消費者組偏移量的文檔。
此時，如果我使用彈性連接器，是否有任何方法或解決方法可以在消息被消費和提交后從彈性索引中刪除文檔？
或者，我應該使用 Kafka Streams 以及如何使用？
接收器連接器僅在顯式啟用該屬性並且您正在閱讀的主題中的文檔 ID 存在 null 值記錄時刪除文檔。 這意味着您需要實際使用此 null 記錄並由連接器處理
查看哪些消息尚未提交
這意味着連接器尚未處理的消息，使它們無法在 Elasticsearch 中搜索
刪除偏移量小於消費者組偏移量的文檔
如果您在 Elasticsearch 中創建了僅由連接器使用的新索引，則可以暫停連接器，然后截斷索引，然后恢復連接器
在使用和提交消息后，是否有任何方法或解決方法可以從彈性索引中刪除文檔
直接使用DELETE API
kafka-connect-elasticsearch：如何發送文件刪除？
[英]kafka-connect-elasticsearch: how to send deletes of documents?
kafka-connect-elasticsearch 如何將多個主題路由到同一連接器中的同一 elasticsearch 索引？
[英]kafka-connect-elasticsearch How to route multiple topics to same elasticsearch index in same connector?
kafka-connect-elasticsearch：如何根據 Kafka 主題的 header 中的某個值刪除文檔
[英]kafka-connect-elasticsearch: How to delete document based on certain value in header of the Kafka topic
kafka-connect-elasticsearch：將消息存儲為預定義索引的格式
[英]kafka-connect-elasticsearch: storing messages as format of predefined index
Elasticsearch接收器僅使用kafka-connect-elasticsearch +時間戳SMT僅獲得新消息，而不接收前一條消息
[英]Elasticsearch sink only get new messages and not the previous one using kafka-connect-elasticsearch + timestamp SMT
kafka-connect-elasticsearch：當使用“write.method”作為 upsert 時，是否可以在 kafka 主題上使用相同的 AVRO object 來發送部分文檔？
[英]kafka-connect-elasticsearch: When using “write.method” as upsert, is it possible to use same AVRO object on kafka topic to send partial document?
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.
