![](/img/trans.png)
[英]Kafka MM1.0 vs Kafka MM2.0 vs Confluent Replicator vs Confluent Cluster linking
[英]MM2.0 consumer group behavior
我正在嘗試運行一些測試來了解 MM2 的行為。 作為其中的一部分,我有以下問題:
如何在mm2.properties
中正確傳遞 MM2 的自定義消費者組?
基於這個問題,嘗試在 mm2.properties 中傳遞<alias>.group.id=temp_cons_group
mm2.properties
並在重新啟動 MM2 實例時可以看到 MM2 日志中提到的消費者組。
但是,當我嘗試listing
在源代理中注冊的消費者組時,該組沒有顯示?
如何測試屬性<alias>.consumer.auto.offset.reset
有效?
在這里,我想再次使用相同的消息,因此參考問題,嘗試將<source_alias>.consumer.auto.offset.reset
設置為earliest
並重新啟動 MM2。
我能夠在 MM2 日志中看到正確設置的屬性,但沒有從目標集群主題的開頭獲取消息。
如何啟動 MM2 實例以開始使用來自源集群中存在的主題的特定偏移量的消息?
MirrorMaker 不使用消費者組來運行,而是使用assign() API,因此預計您不會看到組。
很難“測試”。 驗證此配置是否被拾取的一種方法是在 MirrorMaker 啟動其使用者時檢查它是否存在於日志中。
目前這不是一件容易的事。 有一個KIP正在進行中以改進流程,但目前它需要從您的 Connect 實例手動更新內部偏移量主題。 在一個非常高的層次上,這是一個過程:
首先,確保 MirrorMaker 沒有運行。 然后您需要使用如下命令在偏移量主題中找到 MirrorMaker 的偏移量記錄:
./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 \ --topic <CONNECT_OFFSET_TOPIC \ --from-beginning \ --property print.key=true | grep <SOURCE_CONNECTOR_NAME>
您將看到 MirrorMaker 處理的每個分區的偏移記錄。 要更新偏移量,您需要使用所需的偏移量為該主題生成新記錄。 對於每個分區,確保您的記錄與現有消息具有相同的鍵,以便它替換現有的存儲偏移量。
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.