Kafka 流：如何处理过滤器中的动态条件？

Question

有没有办法处理 kafka 流中的动态条件？ 我需要通过用户更改的值列表来过滤我的流数据，但是这个值列表不在流中，它们可以通过 http 调用获得。

stream(myTopic)
    .filter(isDataOK())
    ...

private Predicate<> isDataOK() {
     http_call;
     return predicate_value_based_on_http_answer;
}

是否可以在 kafka 流处理期间处理 http 调用，或者我是否需要其他流中的条件数据？

提前致谢， 问候

Answer 1

我对动态流配置有类似的要求。 为每个消息处理调用 http 不是一个好主意，因为它很耗时。 最好在处理组件中缓存值并定期更新它们，例如每小时更新一次。 您还应该考虑 http 调用不可用时的场景。

在另一个项目中，我从另一个 Kafka 主题异步接收动态配置，这对于流处理来说效果更好、更自然。