Kafka Connect 还是 Kafka Streams？

Question

我需要从主题中读取消息，根据提供的配置丰富消息（丰富所需的数据来自外部系统），并将丰富的消息发布到 output 主题。 关于 source 和 output 主题的消息应该是 Avro 格式。

这是自定义 Kafka 连接器的好用例还是我应该使用 Kafka Streams？

为什么我要考虑 Kafka Connect？

• 在代码和部署方面轻量级
• 配置驱动
• 连接和错误处理
• 可扩展性
• 我喜欢 Connect 中基于插件的方法。 如果有需要处理的新型消息，我只需部署一个新的连接器，而无需部署完整的 Java 应用程序。

为什么我不确定这是否适合 Kafka Connect？

• 调用外部系统
• Kafka 可以同时作为连接器的源和接收器吗？
• 我们可以在连接器中使用 Avro 模式吗？
• 负载下的性能
• 不能做状态处理（目前没有要求）
• 我有使用 Kafka Streams 的经验，但没有使用 Connect

Answer 1

两者都用？

使用 Kafka Connect 将外部数据库导入主题。

使用 Kafka Streams 将该主题构建到一个流/表中，然后可以对其进行操作。

根据需要，使用 Kafka Connect 沉入数据库或 Kafka 以外的其他系统。

---

Kafka Streams 也可以是配置驱动的，使用插件（即反射），同样具有可扩展性，并且没有不同的连接模式（到 Kafka）。 性能应该是相似的。 错误处理实际上是唯一复杂的部分。 ksqlDB 完全是通过 SQL 语句“配置驱动”的，可以连接到外部 Connect 集群，或嵌入自己的集群。

是的，Avro 对两者都适用。

一些连接器暂时是有状态的，因为它们构建内存中的批处理，例如 S3 或 JDBC 接收器连接器