Kafka Connect 中的多消息转换

Question

我有 Kafka-Connect，我需要将它与 REST API 集成，当使用单个输入多个数据model 调用时效果最佳。

想象一下：

源主题--> REST 请求--> REST 响应-->接收器主题

卡夫卡源主题：

{"Foo":"Bar345354"}
{"Foo":"Bar454354"}

REST 请求：

{
  "doWorkOn": {
    "message1Foo": "Bar345354",
    "message2Foo": "Bar454354",
    ...
  }
}

REST 响应：

{
  "result": {
    "message1Foo": "Bar948474",
    "message2Foo": "Bar434343",
    ...
  }
}

卡夫卡水槽主题：

{"Foo":"Bar948474"}
{"Foo":"Bar434343"}

所以我想在给定的时间范围内转换多个消息。

Kafka-Connect Transformations 的文档（https://docs.confluent.io/current/connect/transforms/index.html ）表明它处理SMT或单输入单数据Z20F35E630DAF44DBFA4C3F6DF 所以我正在寻找与 Kafka-Connect 对应的MMT 。

到目前为止，我没有找到它。 谁能指出有哪些选择？

Answer 1

听起来 Kafka Connect 并不适合这里。 Kafka Connect 连接器适用于：

• 源连接器 - 将数据从系统拉入 Kafka
• 接收器连接器 - 从 Kafka 推送到另一个系统。

这些都不符合您在问题中描述的模式。 我认为解决方案在于编写一个 stream 处理应用程序； 从主题中获取数据，做某事（外部 REST 调用），然后将其写回另一个 Kafka 主题。

为此，Kafka Connect 的对应物是Kafka Streams 。

---

编辑：再想一想，这种模式在 Confluent Replicator 和 MirrorMaker 2 中都有优先级，它们都作为 Kafka Connect 连接器运行，从一个主题读取并写入另一个主题。