将Kafka用作Flink的输入源是否会成为性能瓶颈？

Question

Flink允许阅读Kafka主题，这是性能瓶颈使Flink整体变慢吗？

Answer 1

Kafka分区可以水平缩放以适应更高的吞吐量。

一个Flink使用者线程只能分配给一个Kafka分区。

因此，如果您只有1个Kafka分区，并且有N+1 Flink执行程序，那么您将有N空闲任务，这肯定是一个瓶颈，但这是在Kafka主题内进行总排序的折衷方案，不一定Flink问题。

否则，您将创建具有十到数百个分区的Kafka主题，而Flink可以使用它。

Answer 2

这取决于。 例如，如果您的Kafka群集和Flink群集之间的网络连接较慢，则这将成为性能瓶颈。