Source 和 Sink 在 Kafka 中时使用 Flink 而不是 Kafka Streams 来提高性能？

Question

假设我有通过 Kafka 主题输入的数据，并且 output 数据也将发送到 Kafka 主题，那么在什么情况下 Flink 能够比 Kafka Streams 更快地处理数据？ 至少在消耗和生产时间方面，我不认为 Flink 会比 Kafka Streams 快。

Answer 1

Flink 和 Kafka Streams 都建立在相同的 Producer 和 Consumer API 之上，因此在一定程度上它们的行为相似。 一旦进入特定的 API/DSL，堆栈跟踪就会变得更加嵌套。

除了记录序列化之外，与 Kafka 的 KSQL 相比，Flink 可以执行更多任务，例如使用 Flink SQL，但在这些情况下，您正在管理外部集群。

就个人而言，我发现 Kafka Streams 的开发和维护速度更快，因为应用程序本身是可部署的单元，而不是提交到可能被某些调度程序抢占的资源池的东西。 但如果你想使用的不仅仅是 JVM 语言，那么你需要冒险使用 Flink 甚至 Beam。 而那些其他语言会更慢，因为代码将与那些本地 Java 库交互。