如何更新 MirrorMaker 2 主題白名單？

Question

我使用高級驅動程序運行 MirrorMaker2，如此處所述，. ./bin/connect-mirror-maker.sh mm2.properties在 k8s 部署中的 3 個 pod 中運行。

mm2.properties 文件如下所示：

clusters = source, dest

source.bootstrap.servers = ***:9092
dest.bootstrap.servers =  ***:9092

source->dest.enabled = true
dest->source.enabled = false

source->dest.topics = event\.PROD\.some_id.*

replication.factor=3

checkpoints.topic.replication.factor=3
heartbeats.topic.replication.factor=3
offset-syncs.topic.replication.factor=3

offset.storage.replication.factor=3
status.storage.replication.factor=3
config.storage.replication.factor=3

sync.topic.acls.enabled = false

這很好用，所有與event\.PROD\.some_id.*正則表達式匹配的主題都被復制。 現在，當我需要在白名單中添加其他主題時，我希望能夠簡單地縮小所有內容，更新正則表達式，然后再次放大所有內容。

當我將白名單正則表達式更新為source->dest.topics = event\.PROD\.(some_id|another_id).*時，匹配"another_id"的主題會在 dest 集群中創建，但不會復制任何數據，並且 mirrormaker 似乎在提交補償時會丟失：

[2020-05-28 20:33:19,496] INFO WorkerSourceTask{id=MirrorHeartbeatConnector-0} Committing offsets (org.apache.kafka.connect.runtime.WorkerSourceTask:424)
[2020-05-28 20:33:19,496] INFO WorkerSourceTask{id=MirrorHeartbeatConnector-0} flushing 0 outstanding messages for offset commit (org.apache.kafka.connect.runtime.WorkerSourceTask:441)
[2020-05-28 20:33:19,499] INFO WorkerSourceTask{id=MirrorHeartbeatConnector-0} Finished commitOffsets successfully in 3 ms (org.apache.kafka.connect.runtime.WorkerSourceTask:523)

這是高級驅動程序的限制，還是我做錯了什么？ 據我了解，能夠將主題動態添加到白名單是 MM2 的動機之一。

Answer 1

我也在玩mmv2。 您可以嘗試設置這些配置嗎？ 我必須啟用sync.topic.configs.enabled參數，這樣我的 mmv2 才能檢測到新主題及其數據。

refresh.topics.enabled = true
sync.topic.configs.enabled = true
refresh.topics.interval.seconds = 10

Pd.-我將我的回復添加為答案，因為我想粘貼配置。