如何將 kafka 寫入 kafka 接收器連接器

Question

我正在嘗試 kafka 鏡像。 我發現了這個開源 [Comcast]： https : //github.com/Comcast/MirrorTool-for-Kafka-Connect ，它在從源 kafka 主題檢索數據並將其寫入目標 kafka 主題時成功工作。 現在我需要從目標 kafka 主題下沉並將其寫入源 kafka。 我該怎么做，請建議參考。

我寫了kafkaSinkTask文件。 在 put 方法中，我可以從目標 kafka 獲取主題。 所以我不知道如何寫這個主題來獲取 kfafa

    @Override
    public void put(Collection<SinkRecord> records) {
        if (records.isEmpty()) {
              return;
            }
            final SinkRecord first = records.iterator().next();
            final int recordsCount = records.size();
            logger.info(
                "Received {} records. First record kafka coordinates:({}-{}-{}).
                + "database...",
                recordsCount, first.topic(), first.kafkaPartition(), first.kafkaOffset()
            );  
    }

Answer 1

現在我需要從目標 kafka 主題下沉並將其寫入源 kafka

你不能只是在你的配置文件中翻轉源服務器和目標服務器嗎？ Connect 通常應該從遠程集群消費並生產到本地集群（給定兩個數據中心或地理上分離的網絡），並將消耗的偏移量存儲在 Connect offsets 主題中的目的地，因此它是一個源連接器。

您也可以嘗試使用 MirrorMaker 2.0 - https://cwiki.apache.org/confluence/display/KAFKA/KIP-382%3A+MirrorMaker+2.0