Pandas与pickle 0.14.1和0.15.2的向后兼容性问题

Question

我们使用pandas Dataframe作为我们时间序列数据的主要数据容器。 我们将数据帧打包成二进制blob到mongoDB文档中以便存储，以及关于时间序列blob的元数据的键。

当我们从pandas 0.14.1升级到0.15.2时，我们遇到了错误。

创建pandas Dataframe的二进制blob（0.14.1）

import lz4   
import cPickle

bd = lz4.compress(cPickle.dumps(df,cPickle.HIGHEST_PROTOCOL))

错误案例 ：使用pandas 0.15.2从mongoDB读回

cPickle.loads(lz4.decompress(bd))
---------------------------------------------------------------------------
TypeError                                 Traceback (most recent call last)
<ipython-input-37-76f7b0b41426> in <module>()
----> 1 cPickle.loads(lz4.decompress(bd))
TypeError: ('_reconstruct: First argument must be a sub-type of ndarray', <built-in function _reconstruct>, (<class 'pandas.core.index.Index'>, (0,), 'b'))

成功案例 ：使用pandas 0.14.1从mongoDB读回，没有错误。

这似乎类似于从源代码编译的旧堆栈线程Pandas：默认的pickle行为已更改来自https://stackoverflow.com/users/644898/jeff的有用评论

您看到的错误消息`TypeError：_reconstruct：第一个参数必须是ndarray的子​​类型，因为python默认的unpickler确保被pickle的类层次结构与它重新创建的完全相同。 由于系列版本在版本之间发生了变化，因此默认的unpickler不再可能这样做了（这个恕我直言是pickle工作方式的一个错误）。 无论如何，大熊猫会破坏具有Seri​​es对象的pre-0.13泡菜。“

有关变通方法或解决方案的想法吗？

要重新创建错误：

安装在pandas 0.14.1 env：

df = pd.DataFrame(np.random.randn(10,10))
cPickle.dump(df,open("cp0141.p","wb"))
cPickle.load(open('cp0141.p','r')) # no error

在pandas 0.15.2 env中创建错误：

cPickle.load(open('cp0141.p','r'))
TypeError: ('_reconstruct: First argument must be a sub-type of ndarray', <built-in function_reconstruct>, (<class 'pandas.core.index.Int64Index'>, (0,), 'b'))

Answer 1

这被明确提到作为Index类现在不再是子类ndarray而是一个pandas对象，请参见此处 。

您只需使用pd.read_pickle来阅读泡菜。