Kafka Streams是否对处理时间进行超时？

Question

我正在使用在map/foreach期间调用外部系统的Kafka Streams。 map或foreach可以花费多长时间？

在长时间（例如几个小时）内是否有要阻止的警告？

Answer 1

没有超时适用于map/foreach 。

但是，由于Kafka Streams在内部使用KafkaConsumer和KafkaProducer ，因此它们的所有超时都适用（例如max.poll.interval.ms ）。 您当然可以对其进行相应的配置，但是不建议您长时间阻止对外部系统的调用。

使用Kafka Connect将外部服务中的数据加载到主题中，并在应用程序中以KTable读取此数据， KTable执行流表KTable而不是映射，这将具有很多优点。 这种方法使您的Streams应用程序与外部系统脱钩，从而使整体体系结构更强大。