在 Flink 中使用正则表达式消费多个主题

Question

我知道 flink 可以使用正则表达式作为输入链接描述来使用多个主题。

我有以下主题名称，例如

sclee-10343434
sclee-10342432
sclee-34234
sclee-3343423432424
....

在这种情况下，当我使用正则表达式将值设置为sclee-[\\d+]时，它给了我异常。

在我的情况下，正则表达式的情况是否正确？ 还有，Flink 真的支持吗？

val source = new FlinkKafkaConsumer[T](
  java.util.regex.Pattern.compile("sclee-[\\d+]"),
  deserializer,
  consumerProps
)

错误如下。

Caused by: java.lang.RuntimeException: Unable to retrieve any partitions with KafkaTopicsDescriptor: Topic Regex Pattern (dev-plexer-10507689[\d+])
    at org.apache.flink.streaming.connectors.kafka.internals.AbstractPartitionDiscoverer.discoverPartitions(AbstractPartitionDiscoverer.java:153)
    at org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumerBase.open(FlinkKafkaConsumerBase.java:553)
    at org.apache.flink.api.common.functions.util.FunctionUtils.openFunction(FunctionUtils.java:36)
    at org.apache.flink.streaming.api.operators.AbstractUdfStreamOperator.open(AbstractUdfStreamOperator.java:102)
    at org.apache.flink.streaming.runtime.tasks.OperatorChain.initializeStateAndOpenOperators(OperatorChain.java:291)
    at org.apache.flink.streaming.runtime.tasks.StreamTask.lambda$beforeInvoke$0(StreamTask.java:473)
    at org.apache.flink.streaming.runtime.tasks.StreamTaskActionExecutor$SynchronizedStreamTaskActionExecutor.runThrowing(StreamTaskActionExecutor.java:92)
    at org.apache.flink.streaming.runtime.tasks.StreamTask.beforeInvoke(StreamTask.java:469)
    at org.apache.flink.streaming.runtime.tasks.StreamTask.invoke(StreamTask.java:522)
    at org.apache.flink.runtime.taskmanager.Task.doRun(Task.java:721)
    at org.apache.flink.runtime.taskmanager.Task.run(Task.java:546)
    at java.lang.Thread.run(Thread.java:750)

Answer 1

我认为这里的问题是正则表达式与提供的主题不匹配。 提供的正则表达式sclee-[\\d+]匹配sclee-后跟一个数字或+号。

在这种情况下，您很可能需要： sclee-[\\d]+ 。

Answer 2

我建议使用最新的 Flink 稳定版本（当前为 Flink 1.16），因为您包含的文档链接指向不再支持的 1.4，而且 Kafka Consumer 已更改。 有关详细信息，请参阅https://nightlies.apache.org/flink/flink-docs-stable/docs/connectors/datastream/kafka/#topic-partition-subscription