我们可以在 2021 年将 Kstream 与 Spark Streaming 一起使用吗？

Question

我们可以在 2021 年将 Kstream 与 Spark 一起使用吗？

这是推荐的方法还是使用 Spark Streaming 是更好的解决方案。

Answer 1

你不能。 Kafka Streams 和 Spark (Streaming) 不兼容，不能一起使用。

或者，您可以使用 Kubernetes，例如作为 Spark 调度程序与使用相同输入和输出主题的容器化 Kafka Streams 部署一起使用。

Answer 2

我们可以在 2021 年将 Kstream 与 Spark 一起使用吗？

当然。

这是推荐的方法吗

不是真的（如果有的话）。

使用 Spark Streaming 是一个更好的解决方案。

“更好”引出了另一个问题“在什么情况下？”

---

Kafka Streams 是一个库，因此可以在任何可以在应用程序中使用库的地方使用，包括。 火花应用。 从这个意义上说，这是可能的，但恕我直言，帮助不大。

Kafka Streams 只是一堆使用消费者和生产者 API 来转换记录的线程。 这正是 Spark Structured Streaming 中的 Kafka 数据源。

Kafka Streams 应用程序部署为独立的 Java 应用程序（例如 k8s 中的 Docker 容器）。 Spark Structured Streaming（在 Kubernetes 上使用 Spark）也可以做到这一点。

在单个应用程序中使用两者看不到真正的好处，但会喜欢被证明是错误的。