簡體   English   中英

MM2.0消費群體行為

[英]MM2.0 consumer group behavior

我正在嘗試運行一些測試來了解 MM2 的行為。 作為其中的一部分,我有以下問題:

  1. 如何在mm2.properties中正確傳遞 MM2 的自定義消費者組?
    基於這個問題,嘗試在 mm2.properties 中傳遞<alias>.group.id=temp_cons_group mm2.properties並在重新啟動 MM2 實例時可以看到 MM2 日志中提到的消費者組。
    但是,當我嘗試listing在源代理中注冊的消費者組時,該組沒有顯示?

  2. 如何測試屬性<alias>.consumer.auto.offset.reset有效?
    在這里,我想再次使用相同的消息,因此參考問題,嘗試將<source_alias>.consumer.auto.offset.reset設置為earliest並重新啟動 MM2。
    我能夠在 MM2 日志中看到正確設置的屬性,但沒有從目標集群主題的開頭獲取消息。

  3. 如何啟動 MM2 實例以開始使用來自源集群中存在的主題的特定偏移量的消息?

  1. MirrorMaker 不使用消費者組來運行,而是使用assign() API,因此預計您不會看到組。

  2. 很難“測試”。 驗證此配置是否被拾取的一種方法是在 MirrorMaker 啟動其使用者時檢查它是否存在於日志中。

  3. 目前這不是一件容易的事。 有一個KIP正在進行中以改進流程,但目前它需要從您的 Connect 實例手動更新內部偏移量主題。 在一個非常高的層次上,這是一個過程:

    首先,確保 MirrorMaker 沒有運行。 然后您需要使用如下命令在偏移量主題中找到 MirrorMaker 的偏移量記錄:

     ./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 \ --topic <CONNECT_OFFSET_TOPIC \ --from-beginning \ --property print.key=true | grep <SOURCE_CONNECTOR_NAME>

    您將看到 MirrorMaker 處理的每個分區的偏移記錄。 要更新偏移量,您需要使用所需的偏移量為該主題生成新記錄。 對於每個分區,確保您的記錄與現有消息具有相同的鍵,以便它替換現有的存儲偏移量。

暫無
暫無

聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM