堆棧內存溢出
cost 181 ms
Fastavro 無法使用枚舉解析 Avro 模式

[英]Fastavro fails to parse Avro schema with enum

我有以下代碼塊： 運行它時，它會生成以下錯誤： 我在 Windows 10 和 python 3.8.8 上運行 fastavro 1.7.0。 我在使用 python 3.10 的 Linux (RHEL 8) 上遇到過類似的問題。 根據枚舉類型的 Avro 文檔，架構似乎是正確的，但 fasta ...

模式不匹配使用 fastavro 中的別名在 2 個模式之間轉換數據

[英]schema mismatch converting data between 2 schemas using aliases in fastavro

我正在嘗試使用別名將一些與模式old_schema匹配的數據轉換為new_schema中使用的字段名稱。 我已經用了太久了，看不出這段代碼有什么問題： 這會導致來自SchemaResolutionError的fastavro 。 這是一個如此簡單的例子，但我看不出這有什么問題。 幫助贊賞！ ...

從 JSON 消息格式中刪除 Avro 類型密鑰

[英]Remove Avro type keys from JSON message format

我正在嘗試創建一個腳本來反序列化來自 Kafka 的一些 Avro 消息。 消息的格式如下： 我需要它是這樣的 基本上，刪除該字符串。 我有他們兩個的模式。 我需要從使用模式序列化的消息移動到使用另一個模式反序列化的消息。 我試圖用 python avro/fastavro 做一些事情，但我沒有成功 ...

在 Apache Beam/Dataflow 的 WriteToBigQuery 轉換中，如何使用 Method.FILE_LOADS 和 Avro temp_file_format 啟用死信模式

[英]In Apache Beam/Dataflow's WriteToBigQuery transform, how do you enable the deadletter pattern with Method.FILE_LOADS and Avro temp_file_format

在本文檔中，Apache Beam 在寫入 BigQuery 時建議使用死信模式。 此模式允許您從帶有'FailedRows'標簽的變換 output 中獲取未能寫入的行。 但是，當我嘗試使用它時： 我的一個元素中的架構不匹配會導致以下異常： 據我所知，架構不匹配導致fastavro._write. ...

AvroSerializer：訂單簿快照的架構

[英]AvroSerializer: schema for orderbook snapshots

我有一個 Kafka 集群正在運行，我想將 L2-orderbook 快照存儲到一個主題中，該主題有一個 {key:value} 對字典，其中鍵的類型為 float ，如下例所示：{ 'exchange': 'ex1', 'symbol': 'sym1', 'book': { ...

FastAvro 架構問題

[英]FastAvro Schema Issues

我幾乎完成了 avro 部分，但我面臨着一個巨大的挑戰，那就是名稱和命名空間。 我已經嘗試過了，無論我做了什么，我都遇到了錯誤，即使在引用以下文檔時也是如此：docs.oracle.com/cd/E26161_02/html/GettingStartedGuide/avroschemas.html ...

Fastavro 無模式閱讀器

[英]Fastavro Schemaless Reader

我對此的后續問題-> [使用 fastavro 從 Kafka 進行 Avro 反序列化] 有沒有辦法使用 fastavro schemaless_reader() 從 avro 文件（無標題）中讀取所有記錄？ ...

avro 架構時間戳格式

[英]avro schema timestamp format

我希望以這種格式獲取時間戳： MMDDYYYYHHMMSS 對於 avro 模式格式，我可以使用： 或者有沒有更好的方法來做到這一點？ ...

confluent_kafka.error.ValueSerializationError: KafkaError{code=_VALUE_SERIALIZATION,val=-161: ValueError

[英]confluent_kafka.error.ValueSerializationError: KafkaError{code=_VALUE_SERIALIZATION,val=-161 : ValueError

我是 python 的新手，並嘗試使用“confluent_kafka”進行 avro 消息生成。 使用 'confluent_kafka.schema_registry.avro.AvroSerializer' 相同（參考： https://github.com/confluentinc/con ...

JSON 的 AVRO 模式

[英]AVRO schema for JSON

我有一個像這樣生成的 JSON。 我想知道為此的 avro 模式是什么。 數組列表中鍵值的數量不固定。 有相關的帖子，但它們引用了鍵並且不會更改。 在我的情況下，鍵會改變。 變量鍵的名稱不斷變化。 ...

如何在 Python 中解碼 Avro 消息？

[英]How do I decode an Avro message in Python?

我在 Python (3.6.11) 中解碼 Avro 消息時遇到問題。 我已經嘗試了avro和fastavro包。 所以我認為問題可能是我錯誤地提供了字節。 使用avro ： 使用fastavro ： 我不知道我編碼的消息是否格式錯誤，或者問題是否出在編碼本身上。 有什么建議？ ...

處理不同目錄中的多個AVRO（avsc文件）並使用python（fastavro）相互引用

[英]Processing Multiple AVRO (avsc files) which are in different directory and refer each other using python (fastavro)

我在不同的目錄中有兩個 avsc 文件 - 這是地址文件 這是客戶文件，它是父（頂級）架構 當兩個文件都在同一目錄中時，我可以使用 fastavro 加載文件 但是當兩個 avsc 文件都在不同的目錄中時它不起作用。 如果兩個 avsc 文件都在不同的目錄中，我需要對文件進行哪些更改 ...

avro 架構問題：TypeError: unhashable type: 'dict'

[英]avro schema question: TypeError: unhashable type: 'dict'

我需要為以下數據編寫 Avro 架構。 曝光的是3個數字的arrays數組。 所以我想出了一個如下的模式： 當我嘗試注冊架構時。 我收到以下錯誤。 TypeError: unhashable type: 'dict' 這意味着我使用列表作為字典鍵。 任何人都可以幫助指出導致錯誤的原因嗎？ ...

使用 python (fastavro) 解析多個相互引用的 AVRO (avsc 文件)

[英]Parsing Multiple AVRO (avsc files) which refer each other using python (fastavro)

我有一個 AVRO 模式，它目前位於單個 avsc 文件中，如下所示。 現在我想將地址記錄移動到另一個常見的 avsc 文件中，該文件應該從許多其他 avsc 文件中引用。 所以客戶和地址將是單獨的 avsc 文件。 如何將它們分開並讓客戶 avsc 文件參考地址 avsc 文件。 此外，如何使用 ...

Avro append 記錄不存在模式並保存為 avro 文件？

[英]Avro append a record with non-existent schema and save as an avro file?

我剛剛開始使用 Avro，我正在 Python 中使用 fastavro 庫。 我准備了一個模式並用這個保存了數據。 現在，我需要 append 新數據（來自 API 調用的 JSON 響應）並將其與不存在的模式一起保存到同一個 avro 文件中。 我應該如何繼續添加沒有預定義架構的 JSON 響 ...

使用 fastavro 從 Kafka 反序列化 Avro

[英]Avro deserialization from Kafka using fastavro

我正在構建一個從 Kafka 接收數據的應用程序。 當使用 Apache ( https://pypi.org/project/avro-python3/ ) 提供的標准 avro 庫時，結果是正確的，但是，反序列化過程非常緩慢。 在閱讀為什么這么慢時，我發現fastavro應該快得多。 我是這樣 ...


排序:
質量:
 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM