標簽[confluent-schema-registry]

Kafka 錯誤序列化 Avro 消息 Caused by: java.net.SocketException: Connection reset

[英]Kafka Error serializing Avro message Caused by: java.net.SocketException: Connection reset

我正在嘗試 Kafka 流，設法將 stream 普通字符串從一個主題轉移到另一個主題，但現在我想將其序列化為 AVRO 消息。我在 inte.net 上四處尋找解決方案，但沒有找到，所以這是我最后的希望。這是我的代碼當我運行它時出現以下錯誤：不知道出了什么問題，我搜索了多個網站以找到解決 ...

將包添加到 memgraph 轉換

[英]Adding packages to memgraph transformation

我正在 python 中編寫 memgraph 轉換。當我導入諸如“requests”或 .networkx 之類的模塊時，轉換會按預期進行。我有帶有模式注冊表的 avro 數據，所以我需要反序列化它。我在這里遵循了 memgraph 示例： https://memgraph.com/docs ...

ksqldb 不會故障轉移到備用模式注冊表

[英]ksqldb not failing over to standby schema registry

我正在嘗試測試 kafka 模式注冊表的故障轉移場景。我跨越了兩個架構注冊表 docker 容器（主容器和備用容器），並且我有一個 KSQLDB 服務器在指向主架構注冊表的 docker 容器中運行。源 kafka 連接器將數據從數據庫流式傳輸到 kafka 主題。 ksqlDB 服務器能夠使 ...

以零停機時間將模式注冊表從 VM 遷移到 k8s

[英]Migrate Schema Registry from VM to k8s with zero downtime

我想將 3 個 Schema Registry 實例從 VM（通過 Kafka 領導者選舉 - 而不是 zookeeper）遷移到在 kube.netes 中運行的 docker 個容器，停機時間為零。有沒有辦法檢查哪些實例是模式注冊表集群的一部分？我應該將 k8s 實例公開為每個 pod 的 ...

Kafka cp-server 在代理端的消息驗證失敗

[英]Kafka cp-server fails message validation on a broker side

我需要在經紀人方面驗證消息。我運行cp-server （僅運行cp-all-in-one組合文件）。創建了一個主題將confluent.value.schema.validation設置為 true 注冊了一個模式（JSON）產生了一條消息它總是失敗。為什么驗證失敗？我應該更改配置嗎？架 ...

我如何告知 confluence cloud 上的主題以編程方式使用特定模式？

[英]How do I tell a topic on confluence cloud to use a specific schema programmatically?

所以我知道如何使用 confluent_kafka AdminClient 實例在 Confluent Cloud 上創建主題，但我不確定如何以編程方式設置主題的消息模式？澄清一下，我將要使用的模式保存在本地的 avro 模式文件 (.avsc) 中 ...

在 kafka-avro-console-consumer 中檢索 Avro 架構時出現錯誤 40101

[英]Error 40101 when retrieving Avro schema in kafka-avro-console-consumer

嘗試使用 Confluent Platform CLI 工具從 Kafka 讀取消息時出現以下錯誤。我正在使用 Kafka 3.2（客戶端和服務器），以及 Aiven 的 Karapace 模式注冊表。我可以通過在 URL 中包含憑據，使用curl手動查詢架構注冊表：或者作為 header ...

如何使用 Kafka Schema Registry 在 KSQL 中創建用戶表？

[英]How to use Kafka Schema Registry for create a users table in KSQL?

我有 JSON 數據的 kafka 主題。有一個名為 users 的主題，它從 mysql 表中捕獲數據更改。如何使用 confluent schema registry 在 ksql 中創建一個帶有主鍵 user_id 的用戶表，該表將與其他具有連接的表一起使用？當前 Kafka 用戶主題 ...

kafka _schemas 主題刪除后，在沒有 cleanup.policy 的情況下創建

[英]kafka _schemas topic when deleted, gets created without cleanup.policy

我使用的是 Confluent Platform 版本 5.3.2，在此我可以看到 _schemas 主題是使用 cleanup.policy 創建的，作為緊湊。沒有這個，模式注冊表將不會啟動。現在，如果我刪除 _schemas topi，它將自動創建，但沒有 cleanup.policy，因此 ...

FlinkKafkaConsumer / KafkaSource 與 AWS Glue Schema Registry 或 Confluent Schema Registry

[英]FlinkKafkaConsumer / KafkaSource with AWS Glue Schema Registry or Confluent Schema Registry

我正在嘗試編寫一個 Flink 流應用程序，它有一個 KafkaSource 來讀取一個主題，該主題具有為其數據定義的 AVRO 模式。我想知道在這種情況下模式的自動緩存在本地是如何工作的，類似於此處的 Confluent 文檔。基本上，用例是消費者不應該事先知道模式。實例化消費者后，模式注 ...

提取kafka主題中所有消息的所有schemaID，無需消費所有消息

[英]Extract all schemaIDs of all messages in a kafka topic without the need to consume all messages

我想知道是否有辦法（kafka API/工具）從 kafka 和/或模式注冊表中返回主題下消息使用的 schemaId 列表。我有一個快速解決方案來消耗所有消息以從 kafka 外部提取。但是，這有點耗費時間和資源。 ...

融合 Kafka java.lang.ClassNotFoundException: io.confluent.kafka.schemaregistry.json.jackson.Jackson

[英]Confluent Kafka java.lang.ClassNotFoundException: io.confluent.kafka.schemaregistry.json.jackson.Jackson

因為我使用 ant 項目，我需要來自這里的 lib jar kafka-schema-registry ，使用 jar 但缺少錯誤如果我嘗試使用 maven 項目構建可以導入 class io.confluent.kafka.schemaregistry.json.jackson.Jackso ...

無法使用 JsonSchemaConverter 覆蓋 mqtt 源連接器 kafka-confluent 中 use.schema.id、auto.register.schemas 的默認值

[英]Not able to override default values of use.schema.id, auto.register.schemas in mqtt source connector kafka-connect confluent using JsonSchemaConverter

use.schema.id 有什么用？ Kafka-connect 的連接器配置：我試過 use.schema.id=1，其中 1 是存在模式的全局模式 ID。 http://13.127.201.183:30068/schemas/ids/1 : 我希望該主題只允許遵循這種格式的數據，但 ...

架構注冊表日志寫入 /var/messages

[英]Schema Registry logs are written to /var/messages

我遇到了有關架構注冊表的 GET 日志的問題。當我檢查 log4j 屬性時，我看到它被配置為log4j.appender.file.File=${schema-registry.log.dir}/schema-registry.log它按預期工作（日志文件位於 /confluent- 7.0.1 ...

Mocking KafkaAvroDeserializer 用於使用 Mockito 進行單元測試

[英]Mocking KafkaAvroDeserializer for unit testing using Mockito

我正在嘗試對使用 KafkaAvroDeserializer 反序列化 object 的 class 進行單元測試。我想模擬 KafkaAvroDeserializer 以便我可以測試業務邏輯。但是，當我嘗試模擬 KafkaAvroDeserializer 時，出現以下錯誤： Underlyin ...

MirrorMaker 2 在設置 Schema Registry Transfer SMT 后停止傳輸消息。未知的魔法字節

[英]MirrorMaker 2 stops transfer messages after setting up Schema Registry Transfer SMT. Unknown magic byte

嘗試使用 MM2 設置模式傳輸 SMT ( https://github.com/OneCricketeer/schema-registry-transfer-smt )。第一次迭代成功。在目標注冊表中創建了一個模式，並且主題中的消息正確顯示。但是隨后復制停止，新消息停止到達目標集群。禁用 ...

如何從 Scala 中的融合序列化 avro 有效載荷中提取模式 ID

[英]How to extract schema id from confluent serialized avro payload in Scala

我知道 avro 序列化數據有 0 字節作為魔法字節，字節 1-4 有模式 ID。這對我來說是一個非常重要的要求，但我無法使用 spark 函數提取架構 ID。有人可以幫我解決 scala 中的等效代碼嗎？ ...

Spring 雲 stream 卡夫卡。想發信息<object>但 Spring 發送消息<byte[]> . 有效負載是 Byte[] 而不是 JSON 格式的 GenericMessage<div id="text_translate"> 我將 Spring 雲 Stream 與 kafka、avro、模式注冊表一起使用。我從事函數式風格的反應式編程。我想產生這樣的消息。 GenericMessage [payload={"id": "efb90cd6-e022-4d82-9898-6b78114cfb01", "type": "FirstRankPaymentAgreed",...}, headers={deliveryAttempt=1, kafka_timestampType=CREATE_TIME, kafka_receivedMessageKey=cucumber-test1, contentType=application/json...}] 但它會產生這樣的信息。 GenericMessage [payload=byte[2151], headers={deliveryAttempt=1, kafka_timestampType=CREATE_TIME, kafka_receivedMessageKey=cucumber-test1, contentType=application/json...}]<pre> spring-cloud-stream-schema 2.2.1.RELEASE spring-cloud-stream 3.2.2 spring-cloud-starter-stream-kafka 3.2.5 spring-cloud-stream-binder-kafka-streams 3.2.5 spring-cloud-function-context 3.2.1 kafka-avro-serializer 5.3.0 spring-kafka 2.9.0 org.apache.avro.avro 1.11.1</pre> 我正在使用 Reactive Functional Style。<pre> Function<Flux<Message<Object>>, Flux<Message>> handler() return Mono.just(Message<FirstRankPaymentAgreed> messageMessageBuilder = MessageBuilder.withPayload((FirstRankPaymentAgreed) message.getPayload()).build());</pre> 此生產者的結果是收到消息： GenericMessage [payload=byte[1056], headers={contentType=application/json, id=7d3b65c1-11d8-0fb2-a277-0603f58fd516, timestamp=1672174971194}] 在有效負載中，我們有字節數組而不是 JSON。 我想要這樣的GenericMessage [payload={"id": "254335d0-b631-454e-98de-d2d5129af4c0", "type": "ObjectClass", "delta"...<pre> cloud: stream: function: definition: dispatchConsumerFromTempoComposerEvent bindings: dispatchConsumerFromTempoComposerEvent-in-0: destination: tempo-composer-event dispatchConsumerFromTempoComposerEvent-out-0: destination: tempo-composer-event contentType: application/json --> i try to add this kafka: binder: auto-create-topics: false consumer-properties: value: subject: name: strategy: io.confluent.kafka.serializers.subject.TopicRecordNameStrategy key.deserializer: org.apache.kafka.common.serialization.StringDeserializer value.deserializer: io.confluent.kafka.serializers.KafkaAvroDeserializer schema.registry.url: http://localhost:8081 specific.avro.reader: true producer-properties: value: subject: name: strategy: io.confluent.kafka.serializers.subject.TopicRecordNameStrategy --> i try to add this key.serializer: org.apache.kafka.common.serialization.StringSerializer value.serializer: io.confluent.kafka.serializers.KafkaAvroSerializer schema.registry.url: http://localhost:8081</pre> 我想將項目遷移到 spring 雲 stream。“遺留”代碼：<pre> private static final JsonGenericRecordReader recordReader = new JsonGenericRecordReader(new CompositeJsonToAvroReader(List.of(), IGNORE_UNKNOWN_FIELD));</pre><pre> private static KafkaProducer<String, Object> buildProducer() { final var config = new Properties(); config.put("bootstrap.servers", KafkaConfiguration.kafkaHost()); config.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer"); config.put("value.serializer", "io.confluent.kafka.serializers.KafkaAvroSerializer"); config.put("schema.registry.url", "http://" + KafkaConfiguration.schemaRegistryHost()); config.put("value.subject.name.strategy", TopicRecordNameStrategy.class.getName()); return new KafkaProducer<>(config); }</pre><pre> final var getClassSchema = avroClass.getMethod("getClassSchema"); final var specificRecord = recordReader.read(record.getBytes(StandardCharsets.UTF_8), (Schema) getClassSchema.invoke(null)); final var producerRecord = new ProducerRecord<String, Object>(topic, key, specificRecord); if (TestContext.traceId().= null) { producerRecord.headers(),add("b3". (TestContext.traceId() + "-" + TestContext.traceId() + "-1");getBytes()). } headers,forEach((name. value) -> producerRecord.headers(),add(name. value;getBytes())). TestContext.additionalKafkaHeaders(),forEach((name. value) -> producerRecord.headers(),add(name. value;getBytes())). RecordMetadata recordMetadata = getProducer().send(producerRecord);get(); return recordMetadata;</pre> 這個遺留代碼產生<pre>GenericMessage [payload={"id": "efb90cd6-e022-4d82-9898-6b78114cfb01", "type": "FirstRankPaymentAgreed",...}, headers={deliveryAttempt=1, kafka_timestampType=CREATE_TIME, kafka_receivedMessageKey=cucumber-test1, contentType=application/json...}]</pre> 有效載荷為 JSON 格式。在我遷移 spring 雲 stream 之后，我有 [payload=byte[2151]...</div></byte[]></object>

[英]Spring cloud stream kafka. Want to send Message<Object> but Spring send Message<Byte[]>. The payload is Byte[] not GenericMessage in JSON format

我將 Spring 雲 Stream 與 kafka、avro、模式注冊表一起使用。我從事函數式風格的反應式編程。我想產生這樣的消息。 GenericMessage [payload={"id": "efb90cd6-e022-4d82-9898-6b78114cfb01", "type": ...

如何阻止 java 生產者更新模式注冊表？

[英]How to stop java producer from updating schema registry?

我有一個生成 kafka 主題的 java 生產者。我使用模式注冊表來確保為主題生成的消息有效。但是，當我生成無效消息時，主題架構會根據無效消息進行更新，而不是不接受無效消息。我遇到過 auto.register.schemas 和 use.latest.version 之類的參數，但它們是 ...

ksqlDB 在 AVRO 模式中生成“connect.name”元素，並立即在新版本中再次將其踢出

[英]ksqlDB generates "connect.name" element in AVRO schema and immediately kicks it out again in new version

我正在通過 Confluent Cloud ksqlDB GUI 定義一個帶有新主題的新流，自動注冊一個沒有以前版本的新模式。架構的 v1 看起來符合預期，但以元素"connect.name": "my.namespace" ，我已經不太明白了。但是，還會立即生成一個新版本的架構，它是 v2 並 ...