使用 psutil.Process.memory_info memory 用法不同于 Pandas.memory_usage

Question

我正在分析一个使用Pandas处理一些 CSV 的程序。 我正在使用psutil's Process.memory_info报告虚拟 Memory 大小 (vms) 和驻留集大小 (rss) 值。 我还使用 Pandas DataFrame.memory_usage (df.memory_usage().sum())来报告我在 memory 中的dataframes的大小。

报告的vms和df.memory_usage值之间存在冲突，其中 Pandas 仅针对Process.memory_info报告的dataframe比进程的报告更多 memory。

例如：

• RSS: 334671872
• 虚拟机：663515136 B
• df.memory_usage().sum(): 670244208 B

Process.memory_info调用是在memory_usage调用之后立即进行的。 我的预期结果是df.memory_usage < vms在任何时候，但这并不成立。 我假设我误解了vms值的含义？

Answer 1

这是与您的问题相关的参考：使用 rss 或 vms 跟踪 memory 。 RSS和VMS的关系有点混乱。 您可以详细了解这些概念。 您还应该知道如何计算this和this中的总 memory 使用量。

**TO SUMMARIZE AND COMPLEMENT MY OPINION** ：

---

RSS：

驻留集大小用于显示在RAM中分配给进程的 memory 有多少。 请记住 - It doesn't include memory which is swapped out 。

它涉及来自共享库的 memory，包括所有堆栈和堆 memory。

虚拟机：

虚拟 memory 大小包括进程可以访问的所有 memory。 包括;

换出的 Memory，已分配但未使用的 memory，以及来自共享库的 memory。

例子：

假设，一个Process-X有一个 500-K 的二进制文件并链接到 2500-K 的共享库，有 200-K 的堆栈/堆分配，其中 100-K 实际上在 memory 中（其余部分已交换或未使用），然后它实际上只加载了 1000-K 的共享库和 400-K 的自己的二进制文件：

RSS: 400K + 1000K + 100K = 1500K
VMS: 500K + 2500K + 200K = 3200K

在此示例中，由于 memory 的一部分是共享的，因此许多进程可能会使用它，因此如果将所有RSS值相加，您很容易得到比系统更多的空间。

正如您在简单运行时所看到的那样；

import os
import psutil
process = psutil.Process(os.getpid())
print("vms: ", process.memory_info().vms)
print("rss:", process.memory_info().rss)

Output：

虚拟机：7217152

RSS：13975552

通过简单的添加， import pandas as pd ，您可以看到差异。

import os
import psutil
import pandas as pd
process = psutil.Process(os.getpid())
print("vms: ", process.memory_info().vms)
print("rss:", process.memory_info().rss)

这是 output：

虚拟机：276295680

RSS：54116352

因此，分配的 memory 也可能在程序实际使用之前不在RSS中。 因此，如果您的程序预先分配了一堆 memory，然后随着时间的推移使用它；

• 您可以看到RSS上升而VMS保持不变。

现在，无论您是 go df.memory_usage().sum()或Process.memory_info ，我相信RSS确实包含来自动态链接库的 memory。 因此它们的RSS总和将超过实际使用的 memory。