Confluent.Kafka - 主题日志压缩

Question

我目前正在使用 Confluent.Kafka 构建发布者和消费者资产，我试图了解我是否需要在代码中做任何不同的事情。 我能够创建主题日志压缩，但我不完全了解如何在 C# .NET Core 中使用它。

我的主要问题是在创建启用日志压缩的主题之后，是否必须在代码中完成任何操作才能使用它，或者是否全部在后台处理。

如果要编写特定于代码的方面，有人可以举出一个例子吗？ 我已经研究了几天，我找到了大量关于如何创建启用日志压缩的主题的信息（我已经实现了），但没有关于这可能如何影响生产者和消费者的代码使用.

任何帮助将非常感激。

Answer 1

不，您无需对代码进行任何更改即可使用日志压缩。 使用日志压缩，只需要配置topic即可。

代码中唯一不同的是您可以通过生成tombstone值来删除具有特定键的事件。 在 C# 中它只是一个null 。

确保您真正了解日志压缩的工作原理，您可以在此处阅读有关它的更多信息。 要激活日志压缩，您必须在创建主题时设置cleanup.policy=compact 。 但是您还必须考虑影响主题压缩频率的其他主题配置： delete.retention.ms 、 segment.ms 、 min.cleanable.dirty.ratio 。