让 NestJs Kafka 与 Avro 一起工作的例子？

Question

我正在寻找一个将 NestJS Kafka 微服务与 Avro 架构一起使用的示例。

到目前为止，消费者正在使用 Json Object，但我们正在寻找以 Avro 作为模式类型的模式注册表。

卡夫卡配置：

    transport: Transport.KAFKA,
    options: {
      client: {
        clientId,
        ssl: true,
        brokers,
      },
      consumer: {
        groupId: consumerGroupId,
      },
      subscribe: {
        fromBeginning: false,
      },
    },
  };

消费者：

@Controller(USER)
@UseInterceptors(ClassSerializerInterceptor)
export class UserController {
  constructor(private readonly service: UserService) {
  }

  @EventPattern(process.env.USER_TOPIC, Transport.KAFKA)
  async processUserEvent(data: UserEvent) {
    await this.service.handleEvent(data);
  }
}

Answer 1

Nest 以 object 的形式接收传入的 Kafka 消息，其键、值和标头属性的值类型为 Buffer

与 KafkaJS 的每个消息处理程序一样。

这意味着您需要获取这些，而不是“ UserEvent ”，例如使用 Nest 文档中提到的 IncomingMessage 类型。 然后你可以在confluent-schema-registry NPM package 关注文档

作为options的一部分，有一个parser设置为“保持二进制”，但这仅适用于值，如果您也有 Avro 密钥，这可能不起作用。

另见https://github.com/nestjs/nest/issues/7288