Kafka Connect：如何使用hdfs sink连接器将Kafka主题的protobuf数据发送到HDFS？

Question

我有一个生产者正在为一个主题制作protobuf消息。 我有一个消费者应用程序，它反序列化protobuf消息。 但是hdfs sink连接器直接从Kafka主题中获取消息。 将etc/schema-registry/connect-avro-standalone.properties的键和值转换器设置为什么？ 最好的方法是什么？ 提前致谢！

Answer 1

Kafka Connect旨在将Kafka中的序列化格式与单个连接器的关注与转换器的概念分开。 正如您似乎发现的那样，您需要将key.converter和value.converter类调整为支持protobufs的实现。 这些类通常实现为普通的Kafka反序列化器，然后执行从序列化特定的运行时格式（例如，protobufs中的消息）到Kafka Connect的运行时API（没有任何相关的序列化格式）的转换 - 它只是一个一组Java类型和一个用于定义Schemas的类）。

我不知道现有的实施。 实现这一点的主要挑战是protobufs是自描述的（即你可以在不访问原始模式的情况下对其进行反序列化），但由于它的字段只是整数ID，因此如果没有要求，你可能无法得到有用的模式信息。特定模式可用于转换器，例如通过配置（这使得迁移模式更复杂）或b）模式注册表服务+数据的包装器格式，允许您动态查找模式。