Kafka Connect：如何使用hdfs sink連接器將Kafka主題的protobuf數據發送到HDFS？

Question

我有一個生產者正在為一個主題制作protobuf消息。 我有一個消費者應用程序，它反序列化protobuf消息。 但是hdfs sink連接器直接從Kafka主題中獲取消息。 將etc/schema-registry/connect-avro-standalone.properties的鍵和值轉換器設置為什么？ 最好的方法是什么？ 提前致謝！

Answer 1

Kafka Connect旨在將Kafka中的序列化格式與單個連接器的關注與轉換器的概念分開。 正如您似乎發現的那樣，您需要將key.converter和value.converter類調整為支持protobufs的實現。 這些類通常實現為普通的Kafka反序列化器，然后執行從序列化特定的運行時格式（例如，protobufs中的消息）到Kafka Connect的運行時API（沒有任何相關的序列化格式）的轉換 - 它只是一個一組Java類型和一個用於定義Schemas的類）。

我不知道現有的實施。 實現這一點的主要挑戰是protobufs是自描述的（即你可以在不訪問原始模式的情況下對其進行反序列化），但由於它的字段只是整數ID，因此如果沒有要求，你可能無法得到有用的模式信息。特定模式可用於轉換器，例如通過配置（這使得遷移模式更復雜）或b）模式注冊表服務+數據的包裝器格式，允許您動態查找模式。