Spring Cloud Stream Kafka的Azure Event Hub連接問題

Question

我們將Azure事件中心與Kafka集成選項一起使用。 我們的服務在Java，Spring Boot，Spring Cloud Stream上。 它們部署在Azure AKS上。 我們已在群集的虛擬網絡上為Azure事件中心啟用了服務終結點。

大多數情況下，一切正常。

制作人有時會無法發布到Kafka。 我們會丟失消息，這通常對於總體數據一致性至關重要。

發生這種情況時，我們會在日志中看到一些錯誤（為了可讀性，我將它們細分為多行）：

日志中的第一個示例：

2019-02-21 22:11:04.681 WARN 1 --- [ad | producer-2]
o.a.k.clients.producer.internals.Sender : [Producer clientId=producer-2]
Got error produce response with correlation id 6 on topic-partition _topic-name_-1,
retrying (4 attempts left). Error: NETWORK_EXCEPTION

第二個例子：

org.apache.kafka.common.errors.TimeoutException:
Expiring 1 record(s) for _topic-name_-1:
30096 ms has passed since batch creation plus linger time

消費者還遇到偶發的連接問題：

2019-02-22 03:03:59.733 INFO 1 --- [container-0-C-1]
o.a.k.c.c.internals.AbstractCoordinator :
[Consumer clientId=consumer-6, groupId=my-super-service]
Group coordinator my-super-hub.servicebus.windows.net:9093
(id: 2147483647 rack: null) is unavailable or invalid, will attempt rediscovery

是否有人在Azure Event Hub上遇到過類似的問題，也許對可能存在的問題有一些想法？

Answer 1

您將需要設置最大連接空閑時間。

connections.max.idle.ms

祝好運。