Pandas memory 的使用给出了奇怪的估计

Question

Pandas 给出了非常奇怪的 memory 估计。 不可能是具有2 个数字列表的列与具有100 个数字的列几乎相同的 memory 。 Numpy 的nbytes更有意义（参见下面的示例），但是deep=True的memory_usage不知道如何处理它？

    import pandas as pd
    import numpy as np

    n_rows = 100000
    vecs_1x2 = np.random.random((n_rows, 2))
    mats_10x10 = np.random.random((n_rows, 10, 10))
    df = pd.DataFrame({'vecs_1x2': list(vecs_1x2), 'mats_10x10': list(mats_10x10)})

    print('numpy - vecs_1x2.nbytes: {} Mb'.format(vecs_1x2.nbytes / 1024.**2))
    print('numpy - mats_10x10.nbytes: {} Mb'.format(mats_10x10.nbytes / 1024.**2))
    print('pandas - df.memory_usage (in Mb):\n{}'.format(df.memory_usage(deep=True, index=False) / 1024.**2))

输出：

    numpy - vecs_1x2.nbytes: 1.52587890625 Mb
    numpy - mats_10x10.nbytes: 76.2939453125 Mb
    pandas - df.memory_usage (in Mb):
    mats_10x10    11.444092
    vecs_1x2       9.918213

如何？！

Answer 1

发生的事情是您正在创建 dtype 为 object 的列。 基本上，它存储 Python 对象的 NumPy 数组。

所以你得到的是一个 NumPy 指针数组，基本上。 如果您选择 deep 选项，它也会尝试使用sys.getsizeof()来获取单个项目 memory 的使用情况。

所以deep=True是“数组的大小，加上 object 大小的任何猜测”：

>>> sys.getsizeof(df.vecs_1x2.iloc[0]) * n_rows + df.vecs_1x2.memory_usage(deep=False)
11200128
>>> df.vecs_1x2.memory_usage(deep=True)
11200128

现在， sys.getsizeof()将添加 Python object 开销：

>>> sys.getsizeof(df.vecs_1x2.iloc[0])
104
>>> df.vecs_1x2.iloc[0].nbytes
16

但是sys.getsizeof()不知道 object 内部存储了多少 memory ，必然，给定任意扩展类型：

>>> sys.getsizeof(df.mats_10x10.iloc[0])
120
>>> df.mats_10x10.iloc[0].nbytes
800
>>> sys.getsizeof(df.mats_10x10.iloc[0]) * n_rows + df.mats_10x10.memory_usage(deep=False)
12800128
>>> df.mats_10x10.memory_usage(deep=True)
12800128

TL；DR：对于 object dtypes， memory_usage()没有帮助。

那么如何测量 memory 的使用情况呢？

一种选择是 memory 分析器。 例如，我为 Python 开发了 Fil memory 分析器，该分析器专为数据科学和科学计算而设计。 它会告诉您 memory 的使用峰值以及哪些代码行负责。

另一个分析器可以显示在每行代码上分配了多少 memory，这对于分析很小的代码片段很有用。