讓 NestJs Kafka 與 Avro 一起工作的例子？

[英]Example to make NestJs Kafka work with Avro?

我正在尋找一個將 NestJS Kafka 微服務與 Avro 架構一起使用的示例。 到目前為止，消費者正在使用 Json Object，但我們正在尋找以 Avro 作為模式類型的模式注冊表。 卡夫卡配置： 消費者： ...

將包添加到 memgraph 轉換

[英]Adding packages to memgraph transformation

我正在 python 中編寫 memgraph 轉換。 當我導入諸如“requests”或 .networkx 之類的模塊時，轉換會按預期進行。 我有帶有模式注冊表的 avro 數據，所以我需要反序列化它。 我在這里遵循了 memgraph 示例： https://memgraph.com/docs ...

如何在沒有架構注冊表的情況下使用 AvroSerializer

[英]How to use AvroSerializer without a schema registry

我正在嘗試編寫一個單元測試來驗證向 Avro 模式添加新屬性是否向后兼容。 首先我把Avro generated.cs model 保存為MyModelOld.cs 並將里面的class 重命名為MyModelOld。 然后我使用新屬性針對 avsc 文件重新運行 Avro gen。 我想做的是： ...

如何在 avro json 架構中創建 map

[英]how to create a map in avro json schema

嗨，所以我正在嘗試創建一個 map Map<String, int>，按照我看到的示例設置我的 json 但我不斷收到的錯誤如下： 我也試過規范中的這個例子。 “地圖”不是定義的名稱。 使用 1.10.2 編譯 im 時 ...

你如何將 map java localdatetime 轉換為 avro

[英]how do you map java localdatetime to avro

我正在研究如何將 map localdatetime 在 java 中轉換為 avro。 正確使用 我如何在我的 avro object 上設置它.. avro 不應該定義為 Long 嗎？ ...

發送 avro 模式和有效負載

[英]Sending avro schema along with payload

我想為 Kafka 生產者/消費者實現 avro 序列化器/反序列化器。 可以有多種場景 Writer schema 和 reader schema 是一樣的，永遠不會改變。 在這種情況下，無需將 avro 模式與有效負載一起發送。 在消費者端，我們可以使用閱讀器模式本身來反序列化有效負載。 這篇文 ...

如何使用 JMeter 將 avro 消息發布到 kafka 主題

[英]How to publish avro message to a kafka topic using JMeter

我正在嘗試使用 JMeter 將 Avro 消息發布到 Kafka 主題。 我收到以下錯誤消息： 引起：javax.script.ScriptException: org.apache.kafka.common.errors.SerializationException: Error retriev ...

我如何告知 confluence cloud 上的主題以編程方式使用特定模式？

[英]How do I tell a topic on confluence cloud to use a specific schema programmatically?

所以我知道如何使用 confluent_kafka AdminClient 實例在 Confluent Cloud 上創建主題，但我不確定如何以編程方式設置主題的消息模式？ 澄清一下，我將要使用的模式保存在本地的 avro 模式文件 (.avsc) 中 ...

谷歌發布/訂閱的 avro 架構中的可為空日期

[英]Nullable date in avro schema for google pub/sub

我使用 avro 作為 google pub/sub 的模式來直接寫入 BigQuery。 其中一個字段可以是 null，所以我這樣寫了我的 avro 模式：{ "type": "record", "name": "Avro", "fields": [ { "name ...

Confluent Schema Registry 的默認模式為 "schema": "\"bytes\" at global id: 2，為什么？

[英]Confluent Schema Registry has a default schema of "schema": "\"bytes\" at global id : 2, WHY?

我已經使用了 confluent 的模式注冊表。 我沒有在任何主題下上傳任何字節模式。 不過，我在端點 http://schema-registry-host:port/schemas/ids/2 處得到了一個 id 2 下的模式。 誰能解釋一下？ 我使用 Avro 模式制作了一個 MQTT 源連 ...

使用 apache_avro crate，我如何在 top_schema 中引用 sub_schema？

[英]Using apache_avro crate, how could I reference a sub_schema in a top_schema?

我正在嘗試使用 Schema::parse_ list 方法編寫嵌套記錄（因此 top_schema 引用sub_schema）。 附加到作者會引發錯誤。 順便說一下，如果我用嵌套字段簡單地編寫 top_schema，它就可以工作。 我如何在頂級_schema 中引用sub_ schema ？ 這 ...

正確的密鑰序列化器用於 kafka avro

[英]Correct key-serializer to use for kafka avro

如果我在我的key-serializer屬性 yml 文件中使用org.apache.kafka.common.serialization.StringSerializer ，在 Kafka 中發布的密鑰是正確的，但我收到 SerializationException 錯誤： Error dese ...

更新 Avro spring 引導后 Kafka 拋出錯誤

[英]Kafka throwing error after updating Avro spring boot

所以我用默認的 int 屬性更新了我的 avro 在架構注冊表上，我將其設置為向前兼容。 我的消費者與生產者存在於同一個項目中，因此使用相同的生成 avro。 在測試時我注意到現在消費者拋出以下錯誤： 我檢查了配置，它有以下設置： 沒有開發工具，我使用的是 spring boot 2.5 更新：這與 ...

Python 使用 AVRO 的 Kafka 消費者消息反序列化，沒有模式注冊表 - 問題

[英]Python Kafka consumer message deserialisation using AVRO, without schema registry - problem

我在 Kafka 消息反序列化方面遇到問題。 我使用融合的卡夫卡。 沒有模式注冊表 - 模式是硬編碼的我可以將消費者連接到任何主題並接收消息，但我無法反序列化這些消息。 反序列化后的 Output 看起來像這樣： print(reader) line: <avro.io.DatumReader ...

使用 avro 時查看有關主題的 kafka 消息

[英]viewing kafka messages on topic when using avro

所以我設置了 Kafka 並生成關於使用 Avro 的主題的消息。 我目前將 Ui 用於 Apache Kafka，它具有用於設置架構的注冊表。 更新 Avro 后，我可以看到架構已更新。 由於消息格式是二進制的，我無法在 UI 上查看消息。 任何人都知道如何在使用 Avro 時查看在 Kafka ...

BigQuery Stroage 讀取 API 和 C++ 反序列化數據

[英]BigQuery Stroage Read API with C++ Deserializing Data

我正在嘗試從此示例中以 Avro 數據格式實現方法下載表數據，但我不知道如何實現。 我安裝了Apache AVRO C++庫並編寫如下代碼： BigQuery session 給了我 3 個塊，每個塊有 41 行、25 行和 10 行。但是使用這段代碼，我只能打印塊中的第一行。 我想打印從 ses ...

Spring 使用 Glue 模式注冊表反序列化 AVRO GENERIC_RECORD 啟動 kafka 消費者問題

[英]Spring boot kafka consumer issue deserializing AVRO GENERIC_RECORD using Glue schema registry

我有 kafka connect 使用 Glue Schema Registry 以 AVRO GENERIC_RECORD 格式編寫的主題。 我能夠使用普通的 java 程序使用文檔來使用那些。 但是，我很難閱讀使用 spring 啟動應用程序來消費它們。 我的簡單配置 class 和聽眾 cla ...

如何從 Avro 模式生成 Java 類作為 Gradle 構建的一部分？

[英]How to generate Java classes from Avro schemas as part of a Gradle build?

對於 Maven，有一個官方 Avro 插件可以從 Avro 模式生成 Java 類。 但是，對於 Gradle 沒有官方插件。 有davidmc24/gradle-avro-plugin ，不過已經不再維護了， 正在找維護者。 如何從 Avro 模式生成 Java 類作為 Gradle 構建的 ...

嘗試序列化包含字節類型屬性的 object 時出現問題

[英]Issue with trying to serialize object containing an attribute of type bytes

我有 avro 記錄，我正在發布到消息編碼 JSON 類型的 pubsub 主題。 字段 qty 和 cur 是 avro 模式中的字節類型。 訂閱類型是推送到 bq。 該代碼從文件中讀取上述 avro 數據並提取到主題中。 在 json.dumps 的第 10 行失敗的錯誤： 試圖將主題消息編碼更 ...

卡夫卡流與弗林克

[英]Kafka Streams vs Flink

我編寫了一個應用程序，每秒從 Kafka 主題讀取 100.000 條 Avro 記錄，按鍵聚合，使用 5 種不同大小的翻滾 windows，進行一些計算以了解最高值、最低值、初始值和最終值，然后寫回另一個 Kafka 主題。 這個應用程序已經存在於 Flink 中，但是源是 CSV 格式的 RSo ...