从 KSQL Stream 使用 AVRO Kafka 主题时出错

Question

我在 KSQLDB 中使用VALUE_FORMAT='JSON' TOPIC='MYTOPIC'创建了一些虚拟数据作为 Stream

设置结束 Docker-compose。 我正在运行 Kafka Broker、Schema-registry、ksqldbcli、ksqldb-server、zookeeper

现在我想从主题中使用这些记录。 我的第一个也是最后一个方法是通过命令行使用以下命令

docker run  --net=host  --rm  confluentinc/cp-schema-registry:5.0.0  kafka-avro-console-consumer
--bootstrap-server localhost:29092 --topic DXT --from-beginning --max-messages 10
--property print.key=true --property print.value=true
--value-deserializer io.confluent.kafka.serializers.KafkaAvroDeserializer
--key-deserializer org.apache.kafka.common.serialization.StringDeserializer

但这只会返回错误

[2021-04-22 21:45:42,926] ERROR Unknown error when running consumer:  (kafka.tools.ConsoleConsumer$:76)
org.apache.kafka.common.errors.SerializationException: Error deserializing Avro message for id -1
Caused by: org.apache.kafka.common.errors.SerializationException: Unknown magic byte!

我还在 Java Spring 中尝试了不同的用例，但没有成功。 我只是无法使用创建的主题。 如果我需要定义自己的模式，我应该在哪里做，最简单的方法是什么，因为我刚刚在 Ksqldb 中创建了一个 stream？ 是否有一个易于遵循的示例。 当我创建 stream 时，我没有指定任何其他内容，就像在Ksqldb.io上的快速入门示例中一样。 （我在我的部署中添加了模式注册表）因为我是一个在这里坐了将近 10 个小时的菜鸟，任何帮助将不胜感激。

编辑：我发现纯 JSON 不需要带有 ksqldb 的 Schema-registry。 在这里。 但是如何反序列化呢？

Answer 1

如果您已将 JSON 数据写入主题，那么您可以使用kafka-console-consumer阅读它。

您收到的错误（ Error deserializing Avro message for id -1…Unknown magic byte! ）是因为您使用的是kafka-avro-console-consumer ，它试图将主题数据反序列化为 Avro - 它不是，因此错误。

您也可以使用PRINT DXT; 从 ksqlDB 中。