带有 Azure 事件中心 Kafaka 端点的 Flink 有状态函数的超时问题

Question

问题：

Flink 任务管理器报告： apache.kafka.common.errors.TimeoutException: Timeout expired while fetching topic metadata

部署概览：

• 一个 Java 项目，用于试用 Stateful Functions。流式应用程序从 Kafka 读取消息，处理消息并将最终结果发送到 kafka egress。
• 部署在 Azure 上：
• Azure 事件中心（Kafka 端点）作为入口和出口
• Azure Kube.netes 服务作为 k8s 部署
• Azure Data Lake Gen 2 作为检查点的存储

部署好了，job manager和task manager已经启动，然后我看到task failed to run due to the exception

诊断：

1. 我创建了一个简单的 Java 消费者，它具有相同的 kafka 配置，只是消费者组不同。 Java 应用程序在我的笔记本电脑和 AKS 中运行良好（部署在与有状态 function 应用程序相同的命名空间中）所以我得出的结论是事件中心和我的 kafka 配置都很好。
2. 我检查了任务管理器日志（kubectl logs xxx），kafka 属性已经正确加载。 sasl.jaas.config 显示为"sasl.jaas.config = [hidden]" ，但我认为这是设计使然。

我的卡夫卡设置：

我正在使用以下配置：

kind: io.statefun.kafka.v1/ingress
spec:
  id: io.streaming/eventhub-ingress
  address: xxxx.servicebus.windows.net:9093
  consumerGroupId: group-receiver-00
  startupPosition:
    type: group-offsets
  topics:
    - topic: streaming-topic-rec-32
      valueType: streaming.types/rec
      targets:
        - streaming.fns/bronze_rec
    - topic: streaming-topic-eng-32
      valueType: streaming.types/eng
      targets:
        - streaming.fns/bronze_eng
  properties:
    - request.timeout.ms: 60000
    - security.protocol: SASL_SSL
    - sasl.mechanism: PLAIN
    - sasl.jaas.config: org.apache.kafka.common.security.plain.PlainLoginModule required username="$ConnectionString" password="primary connection string of the event hub ns";

谁能帮我这个？ 谢谢！

Answer 1

减少任务管理器的副本后解决。 没有更改配置