如何使用 spring-kafka 和 kafka-streams 在 KStreams Bean 中记录偏移量

Question

我已经提到了几乎所有关于通过处理器 API 的 transform() 或 process() 方法在 KStreams 上记录偏移量的问题，就像这里的许多问题中提到的一样 -

如何在 KStream 中获取偏移值

但我无法得到这些答案的解决方案，所以我问这个问题。

我想在每次流消耗消息时记录分区、消费者组 ID 和偏移量，我不知道如何将 process() 或 transform() 方法与 ProcessorContext API 集成？ 如果我在 CustomParser 类中实现 Processor 接口，那么我将不得不实现所有方法，但我不确定这是否有效，就像在 Record Meta Data 的融合文档中提到的一样 - https://docs.confluent .io/current/streams/developer-guide/processor-api.html#streams-developer-guide-processor-api

我已经在如下所示的 spring-boot 应用程序中设置了 KStreams（作为参考，已经更改了变量名称）

 @Bean
    public Set<KafkaStreams> myKStreamJson(StreamsBuilder profileBuilder) {
        Serde<JsonNode> jsonSerde = Serdes.serdeFrom(jsonSerializer, jsonDeserializer);

        final KStream<String, JsonNode> pStream = myBuilder.stream(inputTopic, Consumed.with(Serdes.String(), jsonSerde));

        Properties props = streamsConfig.kStreamsConfigs().asProperties();
       

        pstream
                .map((key, value) -> {
                            try {
                                return CustomParser.parse(key, value);
                            } catch (Exception e) {
                                LOGGER.error("Error occurred - " + e.getMessage());
                            }
                            return new KeyValue<>(null, null);
                        }
                )
                .filter((key, value) -> {
                    try {
                        return MessageFilter.filterNonNull(key, value);
                    } catch (Exception e) {
                        LOGGER.error("Error occurred - " + e.getMessage());
                    }
                    return false;
                })
                .through(
                        outputTopic,
                        Produced.with(Serdes.String(), new JsonPOJOSerde<>(TransformedMessage.class)));

        return Sets.newHashSet(
                new KafkaStreams(profileBuilder.build(), props)
        );
    }

Answer 1

实施Transformer ； 在init()保存ProcessorContext ； 然后您可以在transform()访问记录元数据并简单地返回原始键/值。

这是一个 Transformer的例子。 它由 Spring 为 Apache Kafka 提供，用于调用 Spring 集成流来转换键/值。