从卡夫卡州立商店中删除条目

Question

我们有一个流处理应用程序，在流中，我们提取一个id并将其存储在状态存储中。 我的用例非常简单，我们存储ID，因为当收到请求时，我们将检查ID是否存在于商店中。 我们遇到的问题是，所有事件都将具有唯一的ID，状态存储最终将导致内存不足。 一段时间后，不需要状态存储中的数据。

1. 有没有办法进行一些配置，以便在一段时间后根据配置清除状态？

2. 另一种方法是发送带有密钥的逻辑删除消息，以便将条目从存储中删除。 但是，我认为，这还需要做更多的工作，因为我们必须设法向该主题发送另一条消息并对其进行处理以删除该条目

3. 如果我们采用第二种方法，如何处理故障？
4. 有没有一种方法可以从存储中手动删除条目。 如果是这样，从状态存储中删除条目会有什么影响？

Answer 1

1. 不是atm。 （cf https://issues.apache.org/jira/browse/KAFKA-4212 ）
2. 那是正确的方法。
3. 没有不同。 如果执行KeyValueStore#delete()则将从存储中删除该条目，并将逻辑删除写入到后备更改日志主题中。
4. 排队是什么意思？