cost 62 ms
Kafka 錯誤序列化 Avro 消息 Caused by: java.net.SocketException: Connection reset

[英]Kafka Error serializing Avro message Caused by: java.net.SocketException: Connection reset

我正在嘗試 Kafka 流,設法將 stream 普通字符串從一個主題轉移到另一個主題,但現在我想將其序列化為 AVRO 消息。 我在 inte.net 上四處尋找解決方案,但沒有找到,所以這是我最后的希望。 這是我的代碼 當我運行它時出現以下錯誤: 不知道出了什么問題,我搜索了多個網站以找到解決 ...

將包添加到 memgraph 轉換

[英]Adding packages to memgraph transformation

我正在 python 中編寫 memgraph 轉換。 當我導入諸如“requests”或 .networkx 之類的模塊時,轉換會按預期進行。 我有帶有模式注冊表的 avro 數據,所以我需要反序列化它。 我在這里遵循了 memgraph 示例: https://memgraph.com/docs ...

ksqldb 不會故障轉移到備用模式注冊表

[英]ksqldb not failing over to standby schema registry

我正在嘗試測試 kafka 模式注冊表的故障轉移場景。 我跨越了兩個架構注冊表 docker 容器(主容器和備用容器),並且我有一個 KSQLDB 服務器在指向主架構注冊表的 docker 容器中運行。 源 kafka 連接器將數據從數據庫流式傳輸到 kafka 主題。 ksqlDB 服務器能夠使 ...

以零停機時間將模式注冊表從 VM 遷移到 k8s

[英]Migrate Schema Registry from VM to k8s with zero downtime

我想將 3 個 Schema Registry 實例從 VM(通過 Kafka 領導者選舉 - 而不是 zookeeper)遷移到在 kube.netes 中運行的 docker 個容器,停機時間為零。 有沒有辦法檢查哪些實例是模式注冊表集群的一部分? 我應該將 k8s 實例公開為每個 pod 的 ...

Kafka cp-server 在代理端的消息驗證失敗

[英]Kafka cp-server fails message validation on a broker side

我需要在經紀人方面驗證消息。 我運行cp-server (僅運行cp-all-in-one組合文件)。 創建了一個主題將confluent.value.schema.validation設置為 true 注冊了一個模式(JSON) 產生了一條消息它總是失敗。 為什么驗證失敗? 我應該更改配置嗎? 架 ...

我如何告知 confluence cloud 上的主題以編程方式使用特定模式?

[英]How do I tell a topic on confluence cloud to use a specific schema programmatically?

所以我知道如何使用 confluent_kafka AdminClient 實例在 Confluent Cloud 上創建主題,但我不確定如何以編程方式設置主題的消息模式? 澄清一下,我將要使用的模式保存在本地的 avro 模式文件 (.avsc) 中 ...

在 kafka-avro-console-consumer 中檢索 Avro 架構時出現錯誤 40101

[英]Error 40101 when retrieving Avro schema in kafka-avro-console-consumer

嘗試使用 Confluent Platform CLI 工具從 Kafka 讀取消息時出現以下錯誤。 我正在使用 Kafka 3.2(客戶端和服務器),以及 Aiven 的 Karapace 模式注冊表。 我可以通過在 URL 中包含憑據,使用curl手動查詢架構注冊表: 或者作為 header ...

如何使用 Kafka Schema Registry 在 KSQL 中創建用戶表?

[英]How to use Kafka Schema Registry for create a users table in KSQL?

我有 JSON 數據的 kafka 主題。 有一個名為 users 的主題,它從 mysql 表中捕獲數據更改。 如何使用 confluent schema registry 在 ksql 中創建一個帶有主鍵 user_id 的用戶表,該表將與其他具有連接的表一起使用? 當前 Kafka 用戶主題 ...

kafka _schemas 主題刪除后,在沒有 cleanup.policy 的情況下創建

[英]kafka _schemas topic when deleted, gets created without cleanup.policy

我使用的是 Confluent Platform 版本 5.3.2,在此我可以看到 _schemas 主題是使用 cleanup.policy 創建的,作為緊湊。 沒有這個,模式注冊表將不會啟動。 現在,如果我刪除 _schemas topi,它將自動創建,但沒有 cleanup.policy,因此 ...

FlinkKafkaConsumer / KafkaSource 與 AWS Glue Schema Registry 或 Confluent Schema Registry

[英]FlinkKafkaConsumer / KafkaSource with AWS Glue Schema Registry or Confluent Schema Registry

我正在嘗試編寫一個 Flink 流應用程序,它有一個 KafkaSource 來讀取一個主題,該主題具有為其數據定義的 AVRO 模式。 我想知道在這種情況下模式的自動緩存在本地是如何工作的,類似於此處的 Confluent 文檔。 基本上,用例是消費者不應該事先知道模式。 實例化消費者后,模式注 ...

提取kafka主題中所有消息的所有schemaID,無需消費所有消息

[英]Extract all schemaIDs of all messages in a kafka topic without the need to consume all messages

我想知道是否有辦法(kafka API/工具)從 kafka 和/或模式注冊表中返回主題下消息使用的 schemaId 列表。 我有一個快速解決方案來消耗所有消息以從 kafka 外部提取。 但是,這有點耗費時間和資源。 ...

融合 Kafka java.lang.ClassNotFoundException: io.confluent.kafka.schemaregistry.json.jackson.Jackson

[英]Confluent Kafka java.lang.ClassNotFoundException: io.confluent.kafka.schemaregistry.json.jackson.Jackson

因為我使用 ant 項目,我需要來自這里的 lib jar kafka-schema-registry ,使用 jar 但缺少錯誤 如果我嘗試使用 maven 項目構建 可以導入 class io.confluent.kafka.schemaregistry.json.jackson.Jackso ...

無法使用 JsonSchemaConverter 覆蓋 mqtt 源連接器 kafka-confluent 中 use.schema.id、auto.register.schemas 的默認值

[英]Not able to override default values of use.schema.id, auto.register.schemas in mqtt source connector kafka-connect confluent using JsonSchemaConverter

use.schema.id 有什么用? Kafka-connect 的連接器配置: 我試過 use.schema.id=1,其中 1 是存在模式的全局模式 ID。 http://13.127.201.183:30068/schemas/ids/1 : 我希望該主題只允許遵循這種格式的數據,但 ...

架構注冊表日志寫入 /var/messages

[英]Schema Registry logs are written to /var/messages

我遇到了有關架構注冊表的 GET 日志的問題。 當我檢查 log4j 屬性時,我看到它被配置為log4j.appender.file.File=${schema-registry.log.dir}/schema-registry.log它按預期工作(日志文件位於 /confluent- 7.0.1 ...

Mocking KafkaAvroDeserializer 用於使用 Mockito 進行單元測試

[英]Mocking KafkaAvroDeserializer for unit testing using Mockito

我正在嘗試對使用 KafkaAvroDeserializer 反序列化 object 的 class 進行單元測試。我想模擬 KafkaAvroDeserializer 以便我可以測試業務邏輯。 但是,當我嘗試模擬 KafkaAvroDeserializer 時,出現以下錯誤: Underlyin ...

MirrorMaker 2 在設置 Schema Registry Transfer SMT 后停止傳輸消息。 未知的魔法字節

[英]MirrorMaker 2 stops transfer messages after setting up Schema Registry Transfer SMT. Unknown magic byte

嘗試使用 MM2 設置模式傳輸 SMT ( https://github.com/OneCricketeer/schema-registry-transfer-smt )。 第一次迭代成功。 在目標注冊表中創建了一個模式,並且主題中的消息正確顯示。 但是隨后復制停止,新消息停止到達目標集群。 禁用 ...

Spring 雲 stream 卡夫卡。 想發信息<object>但 Spring 發送消息<byte[]> . 有效負載是 Byte[] 而不是 JSON 格式的 GenericMessage<div id="text_translate"><p> 我將 Spring 雲 Stream 與 kafka、avro、模式注冊表一起使用。 我從事函數式風格的反應式編程。 我想產生這樣的消息。 GenericMessage [payload={"id": "efb90cd6-e022-4d82-9898-6b78114cfb01", "type": "FirstRankPaymentAgreed",...}, headers={deliveryAttempt=1, kafka_timestampType=CREATE_TIME, kafka_receivedMessageKey=cucumber-test1, contentType=application/json...}]</p><p> 但它會產生這樣的信息。 GenericMessage [payload=byte[2151], headers={deliveryAttempt=1, kafka_timestampType=CREATE_TIME, kafka_receivedMessageKey=cucumber-test1, contentType=application/json...}]</p><pre> spring-cloud-stream-schema 2.2.1.RELEASE spring-cloud-stream 3.2.2 spring-cloud-starter-stream-kafka 3.2.5 spring-cloud-stream-binder-kafka-streams 3.2.5 spring-cloud-function-context 3.2.1 kafka-avro-serializer 5.3.0 spring-kafka 2.9.0 org.apache.avro.avro 1.11.1</pre><p> 我正在使用 Reactive Functional Style。</p><pre> Function<Flux<Message<Object>>, Flux<Message>> handler() return Mono.just(Message<FirstRankPaymentAgreed> messageMessageBuilder = MessageBuilder.withPayload((FirstRankPaymentAgreed) message.getPayload()).build());</pre><p> 此生產者的結果是收到消息: GenericMessage [payload=byte[1056], headers={contentType=application/json, id=7d3b65c1-11d8-0fb2-a277-0603f58fd516, timestamp=1672174971194}]</p><p> 在有效負載中,我們有字節數組而不是 JSON。</p><p> 我想要這樣的GenericMessage [payload={"id": "254335d0-b631-454e-98de-d2d5129af4c0", "type": "ObjectClass", "delta"...</p><pre> cloud: stream: function: definition: dispatchConsumerFromTempoComposerEvent bindings: dispatchConsumerFromTempoComposerEvent-in-0: destination: tempo-composer-event dispatchConsumerFromTempoComposerEvent-out-0: destination: tempo-composer-event contentType: application/json --> i try to add this kafka: binder: auto-create-topics: false consumer-properties: value: subject: name: strategy: io.confluent.kafka.serializers.subject.TopicRecordNameStrategy key.deserializer: org.apache.kafka.common.serialization.StringDeserializer value.deserializer: io.confluent.kafka.serializers.KafkaAvroDeserializer schema.registry.url: http://localhost:8081 specific.avro.reader: true producer-properties: value: subject: name: strategy: io.confluent.kafka.serializers.subject.TopicRecordNameStrategy --> i try to add this key.serializer: org.apache.kafka.common.serialization.StringSerializer value.serializer: io.confluent.kafka.serializers.KafkaAvroSerializer schema.registry.url: http://localhost:8081</pre><p> 我想將項目遷移到 spring 雲 stream。“遺留”代碼:</p><pre> private static final JsonGenericRecordReader recordReader = new JsonGenericRecordReader(new CompositeJsonToAvroReader(List.of(), IGNORE_UNKNOWN_FIELD));</pre><pre> private static KafkaProducer<String, Object> buildProducer() { final var config = new Properties(); config.put("bootstrap.servers", KafkaConfiguration.kafkaHost()); config.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer"); config.put("value.serializer", "io.confluent.kafka.serializers.KafkaAvroSerializer"); config.put("schema.registry.url", "http://" + KafkaConfiguration.schemaRegistryHost()); config.put("value.subject.name.strategy", TopicRecordNameStrategy.class.getName()); return new KafkaProducer<>(config); }</pre><pre> final var getClassSchema = avroClass.getMethod("getClassSchema"); final var specificRecord = recordReader.read(record.getBytes(StandardCharsets.UTF_8), (Schema) getClassSchema.invoke(null)); final var producerRecord = new ProducerRecord<String, Object>(topic, key, specificRecord); if (TestContext.traceId().= null) { producerRecord.headers(),add("b3". (TestContext.traceId() + "-" + TestContext.traceId() + "-1");getBytes()). } headers,forEach((name. value) -> producerRecord.headers(),add(name. value;getBytes())). TestContext.additionalKafkaHeaders(),forEach((name. value) -> producerRecord.headers(),add(name. value;getBytes())). RecordMetadata recordMetadata = getProducer().send(producerRecord);get(); return recordMetadata;</pre><p> 這個遺留代碼產生</p><pre>GenericMessage [payload={"id": "efb90cd6-e022-4d82-9898-6b78114cfb01", "type": "FirstRankPaymentAgreed",...}, headers={deliveryAttempt=1, kafka_timestampType=CREATE_TIME, kafka_receivedMessageKey=cucumber-test1, contentType=application/json...}]</pre><p> 有效載荷為 JSON 格式。 在我遷移 spring 雲 stream 之后,我有 [payload=byte[2151]...</p></div></byte[]></object>

[英]Spring cloud stream kafka. Want to send Message<Object> but Spring send Message<Byte[]>. The payload is Byte[] not GenericMessage in JSON format

我將 Spring 雲 Stream 與 kafka、avro、模式注冊表一起使用。 我從事函數式風格的反應式編程。 我想產生這樣的消息。 GenericMessage [payload={"id": "efb90cd6-e022-4d82-9898-6b78114cfb01", "type": ...

如何阻止 java 生產者更新模式注冊表?

[英]How to stop java producer from updating schema registry?

我有一個生成 kafka 主題的 java 生產者。 我使用模式注冊表來確保為主題生成的消息有效。 但是,當我生成無效消息時,主題架構會根據無效消息進行更新,而不是不接受無效消息。 我遇到過 auto.register.schemas 和 use.latest.version 之類的參數,但它們是 ...

ksqlDB 在 AVRO 模式中生成“connect.name”元素,並立即在新版本中再次將其踢出

[英]ksqlDB generates "connect.name" element in AVRO schema and immediately kicks it out again in new version

我正在通過 Confluent Cloud ksqlDB GUI 定義一個帶有新主題的新流,自動注冊一個沒有以前版本的新模式。 架構的 v1 看起來符合預期,但以元素"connect.name": "my.namespace" ,我已經不太明白了。 但是,還會立即生成一個新版本的架構,它是 v2 並 ...


 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM