Pandas與pickle 0.14.1和0.15.2的向后兼容性問題

Question

我們使用pandas Dataframe作為我們時間序列數據的主要數據容器。 我們將數據幀打包成二進制blob到mongoDB文檔中以便存儲，以及關於時間序列blob的元數據的鍵。

當我們從pandas 0.14.1升級到0.15.2時，我們遇到了錯誤。

創建pandas Dataframe的二進制blob（0.14.1）

import lz4   
import cPickle

bd = lz4.compress(cPickle.dumps(df,cPickle.HIGHEST_PROTOCOL))

錯誤案例 ：使用pandas 0.15.2從mongoDB讀回

cPickle.loads(lz4.decompress(bd))
---------------------------------------------------------------------------
TypeError                                 Traceback (most recent call last)
<ipython-input-37-76f7b0b41426> in <module>()
----> 1 cPickle.loads(lz4.decompress(bd))
TypeError: ('_reconstruct: First argument must be a sub-type of ndarray', <built-in function _reconstruct>, (<class 'pandas.core.index.Index'>, (0,), 'b'))

成功案例 ：使用pandas 0.14.1從mongoDB讀回，沒有錯誤。

這似乎類似於從源代碼編譯的舊堆棧線程Pandas：默認的pickle行為已更改來自https://stackoverflow.com/users/644898/jeff的有用評論

您看到的錯誤消息`TypeError：_reconstruct：第一個參數必須是ndarray的子​​類型，因為python默認的unpickler確保被pickle的類層次結構與它重新創建的完全相同。 由於系列版本在版本之間發生了變化，因此默認的unpickler不再可能這樣做了（這個恕我直言是pickle工作方式的一個錯誤）。 無論如何，大熊貓會破壞具有Seri​​es對象的pre-0.13泡菜。“

有關變通方法或解決方案的想法嗎？

要重新創建錯誤：

安裝在pandas 0.14.1 env：

df = pd.DataFrame(np.random.randn(10,10))
cPickle.dump(df,open("cp0141.p","wb"))
cPickle.load(open('cp0141.p','r')) # no error

在pandas 0.15.2 env中創建錯誤：

cPickle.load(open('cp0141.p','r'))
TypeError: ('_reconstruct: First argument must be a sub-type of ndarray', <built-in function_reconstruct>, (<class 'pandas.core.index.Int64Index'>, (0,), 'b'))

Answer 1

這被明確提到作為Index類現在不再是子類ndarray而是一個pandas對象，請參見此處 。

您只需使用pd.read_pickle來閱讀泡菜。