繁体   English   中英

Kafka Streams-具有保留策略的主题中的KTable

[英]Kafka Streams - KTable from topic with retention policy

我正在尝试使用Kafka流,并且具有以下设置:

  • 我有一个现有的kafka主题,其关键空间是无界的(但可预测且众所周知)。
  • 我的主题有一个保留策略(以字节为单位)以使旧记录过期。
  • 我想将这个主题具体化成一个Ktable,在这里我可以使用Interactive Queries API通过键检索记录。

有什么方法可以让我的KTable从主题中“继承”保留策略? 这样,当记录超出主要主题时,它们就不再在ktable中可用了吗?

我担心将所有记录转储到KTable中并使StateStore不受限制地增长。

我可以想到的一种解决方案是,将其转换为窗口流,并使其跳跃窗口等于TimeToLive进行记录,但是我想知道是否存在一种更原生的更好的解决方案。

谢谢。

不幸的是不支持atm。 虽然有一个JIRA: https : //issues.apache.org/jira/browse/KAFKA-4212

另一种可能性是将逻辑删除消息( <key,null> )插入输入主题。 KTable将选择那些密钥,然后从存储中删除相应的密钥。

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM