使用pandas数据帧泄漏内存

Question

我在多线程代码中使用pandas.DataFrame （实际上是一个名为Sound的DataFrame的自定义子类）。 我注意到我有内存泄漏，因为我的程序的内存使用量逐渐增加超过1000万，最终达到我的计算机内存的约100％并崩溃。

我使用objgraph来尝试跟踪这个泄漏，并发现MyDataFrame的实例MyDataFrame一直在上升，而不应该：它的run方法中的每个线程创建一个实例，进行一些计算，将结果保存在文件和退出...所以不应该保留引用。

使用objgraph我发现内存中的所有数据帧都有一个类似的参考图：

我不知道这是否正常......看起来这就是将我的物品留在记忆中的原因。 任何想法，建议，见解？

Answer 1

确认索引基础架构中存在某种内存泄漏。 它不是由上面的参考图引起的。 让我们将讨论转移到GitHub（SO用于问答）：

https://github.com/pydata/pandas/issues/2659

编辑：这实际上似乎根本不是内存泄漏，但可能与操作系统内存分配问题有关。 有关更多信息，请查看github问题