[英]Java serialization readResolve method and kryo
我正在嘗試傳輸一個包含瞬態字段的類(一個對序列化沒有意義的緩存)。 過去,該字段是使用標准 Java 序列化框架提供的 readResolve 方法重新創建的。public class MyClass implements Serializable { private transient L ...
[英]Java serialization readResolve method and kryo
我正在嘗試傳輸一個包含瞬態字段的類(一個對序列化沒有意義的緩存)。 過去,該字段是使用標准 Java 序列化框架提供的 readResolve 方法重新創建的。public class MyClass implements Serializable { private transient L ...
[英]kryo serializer serializing iCal4j Calendar fails "Class cannot be created (missing no-arg constructor)"
我嘗試將 kryo 實施到現有項目中。 我的項目有一個 class“日歷”,帶有 iCal4j object: kryo 代碼: 當嘗試序列化時,出現以下錯誤: 據我了解,kryo 帶有許多標准序列化程序並嘗試使用其中一個,通常是這個字段序列化程序,我可以為 ical4j 編寫自己的序列化程序, ...
[英]Flink defaults to Kryo serialization even for POJOs and Avro SpecificRecords
我正在嘗試做一個 Flink State Schema Evolution 的 POC。 我正在使用 Flink 1.15.0 和 Java 11。我嘗試創建 3 個數據類 - 每個序列化類型一個: io.peleg.kryo.User - 使用java.time.Instant類,我知道 ...
[英]How to test scala classes for kryo deserialization incompatibility
我想使用 kryo 來序列化和反序列化類的層次結構,如下所示: 有時我想在此層次結構中的某處添加和刪除字段,例如Cherry 。 我想編寫一個單元測試,查看從Apple開始的類型層次結構,並得出結論,之前使用 kryo 序列化的數據將無法正確反序列化——即反序列化的 object 不會==到序列化的 ...
[英]How to investigate a kryo buffer overflow happening in spark?
賞金將在 7 天后到期。 此問題的答案有資格獲得+50聲望賞金。 Omkar Neogi希望引起更多關注這個問題: ...
[英]Spatial with SparkSQL/Python in Synapse Spark Pool using apache-sedona?
我想對大型數據集進行空間查詢; 例如 geopandas 會太慢。 我在這里找到的靈感: https ://anant-sharma.medium.com/apache-sedona-geospark-using-pyspark-e60485318fbe 在 Synapse Analytics 的 ...
[英]Could not create class Caused by: com.esotericsoftware.kryo.KryoException: java.io.EOFException: No more bytes left
我發現在特定的小型集群和我的本地機器上運行作業時出現問題。 這項工作在大型機器上運行順利。 我正在使用: com.twitter“冷協議”0.7.6 .排除 com.esotericsoftware.kryo “kryo” com.google.protobuf“protobuf-java”3 ...
[英]NullpointException when reading file with RowCsvInputFormat in flink
我是 Flink 流媒體的初學者。 使用 RowCsvInputFormat 讀取文件時,Kryo 序列化程序創建 Row 的代碼無法正常工作。 經過調試,創建Row時,Row.setFields中出現nullpointException,因為字段的值為null。 在此處輸入圖像描述創建 Row ...
[英]Kryo out of memory error for flink siddhi
我正在使用 flink siddhi 並在處理大型對象時擺脫 memory 錯誤。 In output stream generated by siddhi cep i have object having more than 200 fields, and I have some operato ...
[英]Why Kryo gives me that error when serializing object?
我正在嘗試在我的 Libgdx 游戲中制作保存/加載游戲機制。 我正在使用 Kryo 編寫對象。 對象圖非常龐大且復雜。 我不會發布整個代碼,因為它太多了。 它包含許多 ArrayList。 對象有許多對其他對象的引用。 許多字段被transient關鍵字排除在序列化之外,因為它們包含Texture ...
[英]How to process large .kryo files for graph data using TinkerPop/Gremlin
我是 Apache TinkerPop 的新手。 我已經完成了一些基本的工作,例如安裝 TinkerPop Gremlin 控制台、創建圖形 .kryo 文件、將其加載到 gremlin 控制台並執行一些基本的 gremlin 查詢。 到目前為止一切都很好。 但我想檢查我們如何處理 .kryo 文 ...
[英]Spark Kryo deserialization of EMR-produced files fails locally
在將 EMR 版本升級到 6.2.0(我們之前使用 5.0 beta - ish)和 Spark 3.0.1 后,我們注意到我們無法在本地讀取從 EMR 集群寫入的 Kryo 文件(這在以前顯然是可能的)。 嘗試讀取此類文件時,拋出的異常如下: 我們使用 spark 3.0.1 和 Kryo 4.0 ...
[英]Problem registering protobuf serializer on a certain type with kryo in flink (scala)
我有一個代碼片段如下: 其中EventMeta是一個案例 class 由 scalaPB 從 proto 消息生成。 我們使用 flink 1.10.1 和 scala 2.11。 我試圖翻譯文檔中的 Java 代碼: env.getConfig.registerTypeWithKryoSerial ...
[英]Kryonet desirialization issue with Hibernate Entities
我希望有人以前可能遇到過這個或類似的問題並且可以幫助我:) 我有一個 KryoNet 服務器/客戶端架構,我在其中發送消息。 其中一條消息包含 class“WorldEntity”的實例。 這個實體看起來像這樣: 我正在使用 spring + hibernate 將此實體保存到我的 postgres ...
[英]How to set dubbo serialization on consumer side?
對於基於 dubbo 的系統,我使用 API 配置,如下所述: https://dubbo.apache.org/en/docs/v2.7user 現在,如果我想在提供者端設置例如kryo序列化,我可以在配置協議時輕松地這樣做:// Protocol ProtocolConfig protocol ...
[英]Race Condition: Kryo keeps attempting to serialize items with references
我正在編寫一個使用 KryoNet 程序生成的宇宙的視頻游戲。 一點上下文,KryoNet 將序列化 object,然后 object 中的每個引用連同它並嘗試將其發送到連接的另一端,如果它找到無法序列化的東西,則會引發錯誤。 現在我正在嘗試游戲的多人游戲部分,我遇到了競爭條件的問題,其中一個線程通 ...
[英]Jython registering class with kryonet
我想用 kryonet 注冊一個 python/jython class。 嘗試時出現此錯誤: TypeError: register(): 1st arg can't be coerced to com.esotericsoftware.kryo.Registration, java.lang ...
[英]java.util.ConcurrentModificationException when adding some key to metadata in stormcrawler
我在元數據中添加了一個字段,用於傳輸和保存在狀態索引中。 該字段是一個字符串列表,其名稱是input_keywords 。 在 Strom 集群中運行拓撲后,拓撲停止並顯示以下日志: 我們對拓撲的每個組件都有不同的並行提示。 將input_keywords添加到元數據后,我們得到了錯誤。 錯誤的主要 ...
[英]Registering KryoSerializer to Hazelcast
我使用com.esotericsoftware.kryo.Serializer (從它擴展並傳遞我的通用參數)為特定的 object 創建了一個序列化程序。 現在,我想通過將值類型設置為我的自定義com.hazelcast.map.IMap 我的問題是,我如何告訴我的com.hazelcast.c ...
[英]Migrating from Chill 0.6.0 (Kryo 2.21) to 0.9.5 (Kryo 4.0.2) and deserializing old messages
我們正在使用 Chill-bijection 來序列化/反序列化與 Kryo 的 Kafka 之間的消息。 Older version of our application is using Chill 0.6.0 which depends on com.esotericsoftware.kry ...