Pickle/Unpickle 更复杂的对象

Question

我有一个更复杂的 object ，它还包含一些继承等等。 我希望能够腌制/取消腌制它并将其作为文件保存在我的 git 中。 但它仅在它仍在 memory 中时才有效。 当我将其作为文件读取时，我无法将其正确转换回来。

只要我只是在我的 python (Django) 应用程序中使用它就可以了：

myPickle=pickle.dumps(reallyComplicatedObject, 0).decode()
...
myObject = pickle.loads(myPickle.encode())

现在我将其保存以供进一步使用（我不得不假装它是一个文件，因为 Django 不允许我将字符串另存为文件）：

fs = FileSystemStorage()

notAFile = io.StringIO(pickle.dumps(reallyComplicatedObject, 0).decode())
filename = fs.save(filename, notAFile)
return fs.url(filename)

这正如它应该做的那样。 我有一个对我来说看起来或多或少二进制的文件现在解开：

storage_class = get_storage_class(settings.STATICFILES_STORAGE)
complicatedPickle = None

with storage_class().open('TestFiles/Pickles/thatOneObject') as picklereads:
    complicatedPickle = picklereads.read()
pick = pickle.loads(complicatedPickle)

当我 output complicatedPickle时，我得到一个长字符串，在我看来确实是二进制的。 在这里，我已经像预期的那样想知道一个字符串 - 但它是：

(Pdb) type(complicatedPickle)
<class 'bytes'>

pick是一个 String 并且编码它只是使它再次成为二进制：

(Pdb) type(pick)
<class 'str'>
(Pdb) type(pick.encode())
<class 'bytes'>

我尝试在此解决方案中使用ast ： https://stackoverflow.com/a/52891113/2516892

nopick = pickle.loads(ast.literal_eval(complicatedPickle))

但是出了点问题，因为这只是输出 object。 之后我没有nopick变量。

同一页面上的下一个解决方案也没有帮助：

(Pdb) unpick=pickle.loads(bytes(complicatedPickle))
(Pdb) type(unpick)
<class 'str'>
(Pdb) unpick=pickle.loads(bytes(complicatedPickle, "latin1"))
*** TypeError: encoding without a string argument
(Pdb) unpick=pickle.load(bytes(complicatedPickle, "latin1"))
*** TypeError: encoding without a string argument

我现在被困住了。 我的转换是否已经出现错误？ 或者我应该如何再次客观化它？ 或者问题可能与 Django 相关，因为我没有使用常规的open ，而是storage_class ？

Answer 1

这里有两个主要问题：

1. FileSystemStorage不能写二进制文件， StringIO不能假装 String 是二进制的（或者也许可以，但它不是很简单）
2. 读取非二进制保存的文件并假装它实际上是二进制文件不起作用。

我需要放弃我的保存功能到非 Django 风格：

import os
    sfilename = os.path.join(settings.STATIC_ROOT,
                             "TestFiles/Pickles/"+filename)

    with open(sfilename, 'wb') as f:
        f.write(pickle.dumps(obj, 0)) #also not decoding it any more

    return sfilename

检索更容易：

with storage_class().open('TestFiles/Pickles/'+filename, mode='rb') as pickle:
            complicatedObject = pickle.load(pickle)

实际上就是这样