Kafka Streams是否對處理時間進行超時？

Question

我正在使用在map/foreach期間調用外部系統的Kafka Streams。 map或foreach可以花費多長時間？

在長時間（例如幾個小時）內是否有要阻止的警告？

Answer 1

沒有超時適用於map/foreach 。

但是，由於Kafka Streams在內部使用KafkaConsumer和KafkaProducer ，因此它們的所有超時都適用（例如max.poll.interval.ms ）。 您當然可以對其進行相應的配置，但是不建議您長時間阻止對外部系統的調用。

使用Kafka Connect將外部服務中的數據加載到主題中，並在應用程序中以KTable讀取此數據， KTable執行流表KTable而不是映射，這將具有很多優點。 這種方法使您的Streams應用程序與外部系統脫鈎，從而使整體體系結構更強大。