删除dataframe列时熊猫内存泄漏？

Question

我有一些类似以下的代码

df = ..... # load a very large dataframe
good_columns = set(['a','b',........]) # set of "good" columns we want to keep
columns = list(df.columns.values)
for col in columns:
   if col not in good_columns:
      df = df.drop(col, 1)

奇怪的是，它成功删除了不好的第一列-因此，我将旧数据帧和新数据帧同时保存在内存中并且空间不足时，这不是问题。 它在被删除的第二列（MemoryError）上中断。 这使我怀疑存在某种内存泄漏。 如何防止发生此错误？

Answer 1

可能是您不断返回一个新的非常大的数据帧。 尝试将drop inplace参数设置为True。

Answer 2

读取大数据框时，请使用usecols参数，以保留所需的列，而不是稍后将其删除。 在这里检查： http : //pandas.pydata.org/pandas-docs/dev/generated/pandas.io.parsers.read_csv.html

Answer 3

我尝试了inplace=True参数，但仍然遇到相同的问题。 这是处理由于您的体系结构导致的内存泄漏的另一种解决方案 。 当我遇到同样的问题时，这对我有帮助