使用gson在Java中序列化千兆字節的python對象

Question

我有許多哈希圖已使用python序列化並轉儲到文本文件中。 我正在嘗試使用gson將這些數據反序列化為對象。

序列化對於較小的文件（〜MBs）正常工作，但對於千兆字節大小的文件卻出錯。

錯誤是：

Exception in thread "main" com.google.gson.JsonSyntaxException: com.google.gson.stream.MalformedJsonException: Unterminated string at line 1 column 1230 path $.
at com.google.gson.Gson.fromJson(Gson.java:825)
at ReadFromJson.main(ReadFromJson.java:47)
Caused by: com.google.gson.stream.MalformedJsonException: Unterminated string at line 1 column 1230 path $.
at com.google.gson.stream.JsonReader.syntaxError(JsonReader.java:1573)
at com.google.gson.stream.JsonReader.nextQuotedValue(JsonReader.java:1031)
at com.google.gson.stream.JsonReader.nextString(JsonReader.java:827)
at com.google.gson.internal.bind.TypeAdapters$13.read(TypeAdapters.java:358)
at com.google.gson.internal.bind.TypeAdapters$13.read(TypeAdapters.java:346)
at com.google.gson.internal.bind.TypeAdapterRuntimeTypeWrapper.read(TypeAdapterRuntimeTypeWrapper.java:40)
at com.google.gson.internal.bind.MapTypeAdapterFactory$Adapter.read(MapTypeAdapterFactory.java:187)
at com.google.gson.internal.bind.MapTypeAdapterFactory$Adapter.read(MapTypeAdapterFactory.java:145)
at com.google.gson.Gson.fromJson(Gson.java:810)

Answer 1

您可能會遇到一些限制，這是由於Gson嘗試將整個JSON結構加載到內存中的結果。 您應該考慮使用支持數據流傳輸的JSON解析器，而無需嘗試一次解析所有內容。

其中之一是Jackson及其Streaming API 。