標簽[apache-kafka-mirrormaker]

[英]How to decode messages in MM2 offset sync topic?

參考KIP-382中涵蓋的偏移量同步主題，該主題維護集群到集群的偏移量映射，同時使用來自mm2-offset-syncs.target.internal的消息發現它們被序列化。有沒有一種方法可以反序列化 output，以便使用 kafka 命令行消費者可以理解它？ ...

MM2.0消費群體行為

[英]MM2.0 consumer group behavior

我正在嘗試運行一些測試來了解 MM2 的行為。作為其中的一部分，我有以下問題：如何在mm2.properties中正確傳遞 MM2 的自定義消費者組？基於這個問題，嘗試在 mm2.properties 中傳遞<alias>.group.id=temp_cons_group mm2. ...

Kafka 3.3.1 Active/Active 消費者和生產者

[英]Kafka 3.3.1 Active/Active consumers and producers

賞金將在 5 天后到期。此問題的答案有資格獲得+150聲望賞金。 user1578872正在尋找規范的答案。我們有 2 個不同的 kafka 集群，每個集群有 10 個代理，每個集群都有自己的 Zookeeper 集群。我們還設置了 MirrorMaker 2 以在集群之間同步數據。對於 ...

鏡像制造商 2.0 備份

[英]Mirror maker 2.0 backup

如果 mirror maker 2.0 停止將消息從源主題復制到目標主題，是否有推薦的方法來遵循/實用程序（除了重新啟動 mirror maker 實例）可以使用它來最大限度地減少對目標消費者的影響？ ...

MirrorMaker 2 在設置 Schema Registry Transfer SMT 后停止傳輸消息。未知的魔法字節

[英]MirrorMaker 2 stops transfer messages after setting up Schema Registry Transfer SMT. Unknown magic byte

嘗試使用 MM2 設置模式傳輸 SMT ( https://github.com/OneCricketeer/schema-registry-transfer-smt )。第一次迭代成功。在目標注冊表中創建了一個模式，並且主題中的消息正確顯示。但是隨后復制停止，新消息停止到達目標集群。禁用 ...

源和目標集群中相同主題名稱的 Kafka Mirror Maker

[英]Kafka Mirror Maker for same topic name in source and destination cluster

我想在源集群和目標集群之間設置 kafka MM2。我的用例是我可以成功地從源集群主題“test”鏡像到目標集群主題“test”（沒有集群名稱前綴）。現在我想要從源集群主題“test”到目標集群主題“xyx”的鏡像（沒有集群名稱前綴）。任何線索將不勝感激？你好，我想在具有不同主題名稱的源 ...

Mirror maker2 指標說明

[英]Mirror maker2 metric clarification

關於 Mirror maker 的以下指標，我有幾個問題： record-count （復制源 -> 目標的記錄數）：每個主題分區的計數是否總是增加，顯示從源復制到目標的消息數量？ mirror maker 發出這些信息的頻率如何？可以配置嗎？ replication-latency- ...

Mirror Maker 2 - 從 Stanby 集群故障回復

[英]Mirror Maker 2 - Failback from Stanby cluster

我們有 2 個集群 Apache Kafka 架構 - 主動-備用。 Mirror Maker 2 用於將所有數據從活動集群復制到備用集群。如果活動集群出現故障，我們將故障轉移到備用集群並對其進行處理（連接生產者、消費者並發送新數據）。問題是——從備用集群故障回復到活動集群的正確方法是什么？保 ...

獲取 'INFO [SocketServer brokerId=___] 使用 /server_ip 的身份驗證失敗（SASL 握手期間出現 METADATA 類型的意外 Kafka 請求）'

[英]Get 'INFO [SocketServer brokerId=___] Failed authentication with /server_ip (Unexpected Kafka request of type METADATA during SASL handshake)'

當我嘗試使用 kafka-mirror-maker.sh 時遇到此問題通過運行此命令：這是我的配置文件： 1.producer.properties 2.consumer.properties Apache 卡夫卡版本信息：kafka_2.13-2.7.2 參考鏈接： https://cw ...

MirrorMaker2 只復制了大約 1/3 的數據

[英]MirrorMaker2 only replicating about 1/3 of the data

我正在為災難恢復配置 MirrorMaker2。我有一個主要的 Kafka 並且想要復制到輔助。 MirrorMaker2 正在工作，但僅將大約 1/3 的數據復制到目標。我的 mm2.properties 文件中有 replication.factor=3 以使源和目標主題配置匹配。 ...

在 Active-Passive Kafka 集群架構中創建 Kafka 主題

[英]Create Kafka topic in Active-Passive Kafka cluster architecture

我試圖弄清楚在主動-被動 Kafka 集群架構中創建主題的正確方法是什么。假設我們在兩個獨立的可用區中有兩個 Kafka 集群（主動-被動）。我知道當數據從主動集群復制到被動集群時，會發生主題鏡像。問題是。當我創建一個主題時，我應該在兩個集群上分別創建它嗎？如果沒有，那么鏡像制造者應該 ...

如何讓多個 Mirror Maker 節點分擔復制負載？

[英]How to get multiple Mirror Maker nodes to divide the replication load?

我正在嘗試在兩個不同的 Kafka 集群（集群 A 和集群 B）之間啟用復制。我不需要主動/主動復制。從 A → B 對我來說就足夠了。為了實現這個目標，我計划建立一個 Mirror Maker 2 集群，例如數據流如下：集群 A → Mirror Maker 2 集群 → 集群 B 集群 ...

Kafka Mirrormaker 2 從最新的偏移量而不是最早的偏移量復制

[英]Kafka Mirrormaker 2 replication from latest offset instead of earliest

我在使用 Mirrormaker 2 將主題從集群 A 復制到集群 B 時遇到問題。我想從最新的偏移量復制這些主題，而不是從頭開始復制它們。但是，當我設置auto.offset.reset=latest時，什么也沒有發生，復制仍然從主題的開頭而不是結尾開始。我設置錯了嗎？這是我的整個 MM2 ...

如何在 Mirror Maker 2 中處理源主題刪除？

[英]How to handle source topic deletion in Mirror Maker 2?

當我嘗試刪除 MM2 嘗試復制的源集群中的主題時，它開始連續拋出以下錯誤。雖然這是意料之中的，但錯誤不會停止並永遠持續，導致我的系統上出現巨大的日志文件。有沒有辦法讓 MM2 優雅地處理源主題刪除？ PS：我在專用集群模式下運行 MM2 ...

Kafka MirrorMaker2 端口用於集群間通信

[英]Kafka MirorMaker2 ports for inter cluster communication

我已經為兩個 Kafka 集群（名為 DC、DR）設置了具有主動-主動策略的 Apache MirrorMaker 3.0.0。因此，MirrorMaker2 將 DC 上的主題復制為 DR 集群上的 DC.<topic_name>，反之亦然。在每個集群中，我設置了 3 個 kaf ...

將 Kafka Topic 遷移到新集群（以及對 Druid 的影響）

[英]Migrate Kafka Topic to new Cluster (and impact on Druid)

我正在從 Kafka 的主題中將數據提取到 Druid 中。現在我想將我的 Kafka Topic 遷移到新的 Kafka 集群。在不重復數據和不停機的情況下，有哪些可能的方法可以做到這一點？我考慮了以下將主題遷移到新的 Kafka 集群的可能方法。手動遷移：在新的 Kafka 集群中創 ...

Kafka MM1.0 vs Kafka MM2.0 vs Confluent Replicator vs Confluent Cluster 鏈接

[英]Kafka MM1.0 vs Kafka MM2.0 vs Confluent Replicator vs Confluent Cluster linking

我知道 Apache Kafka MM1 和 Apache Kafka MM2 之間有什么區別。 Kafka MM1 不支持 Active-Active 設置和偏移同步，這也是 MM1 中的一個問題等等使用MirrorMaker 2.0的雙活Kafka集群概述看看里面的 kafka-mirror ...

Kafka Mirrormaker2配置優化

[英]Kafka Mirrormaker2 config optimization

我正在我們的測試環境中設置 Strimzi kafka Mirrormaker2，它平均每 5 分鍾接收 100k 條消息。對於這些主題，我們總共有大約 25 個主題和 900 個分區。我設置的默認配置是僅將 60k 消息/5 分鍾鏡像到 DR 集群。我正在嘗試優化此配置以獲得更好的吞吐量和延 ...

KafkaMirrorMaker 正在為白名單選項返回無效的語法表達式

[英]KafkaMirrorMaker Is returning invalid syntax expression for whitelist option

kafka-mirror-maker.bat --consumer.config C:\\Users\\P9168308\\Documents\\consumerconfig.properties --producer.config C:\\Users\\P9168308\\Documents\\p ...

如何隔離兩個mirrormaker集群，每個鏈路都是單向同步

[英]How to isolate the two mirrormaker clusters, each link is one-way synchronization

我想部署兩個mirror maker2集群，每個鏈路都是單向同步，connect-mirror-maker.properties配置如下：一平方毫米另一個mm2 我之所以要這樣部署是因為每個mirror maker集群都離對應的kafka集群很近，但是我啟動每個mirror maker prog ...