Kafka 主题消息版本控制

Question

我以订阅者可以理解的格式将消息发布到 kafka 主题 (outputTopic)。 我现在希望以打破现有主题消费者的方式修改这些消息的格式。

例如，我发布对象，以 json 格式序列化，但需要更改对象，因此需要更改架构。

管理此类变更的最佳方法是什么？ 我是否应该更改生产者，以便它发布到新主题 (outputTopic2)？ 有没有更好的方法来管理这个？

Answer 1

根据我的说法，一种干净的方法是使用Schema registry / Apache Avro 。 根据您使用它的方式，它将帮助您保证向后/向前兼容性。

Answer 2

Avro 模式不会解决问题，除非让消费者同时处理旧的和新的模式版本——这绝对是矫枉过正，然后完全否定了对 avro 的需求。

相反，请保持您的制作人原样。 部署从同一数据源读取的更新版本，并将数据发布到具有新更新格式的新主题。

允许消费者在最终杀死旧版本之前从旧版本迁移到新版本。