如何使用 Spark 數據集向 kafka 寫入 2 個不同的主題

Question

我的要求是使用 spark 數據集向 2 個不同的 kafka 主題寫入相同的消息。 我可以將數據集寫入單個主題，現在我必須將相同的內容寫入不同的主題。

Answer 1

如果你知道如何做一次，你可以做兩次

df.write.format("kafka").option("topic", "first").save()
df.write.format("kafka").option("topic", "second").save()

或者您可以在每個要生成的主題中添加topic列，並且只需要write一個數據框

https://spark.apache.org/docs/latest/structured-streaming-kafka-integration.html#writing-the-output-of-batch-queries-to-kafka