PyYAML的内存泄漏

Question

我认为在使用库PyYAML加载.yml file时遇到内存泄漏。

我已按照以下步骤操作：

import yaml
d = yaml.load(open(filename, 'r'))

进程使用的内存（我在top或htop获得了内存）已从60K增长到160M而文件大小小于1M 。

然后，我完成了下一个命令：

sys.getsizeof(d)

并且它返回的值小于400K 。

我也尝试过将垃圾收集器与gc.collect() ，但是什么也没发生。

如您所见，似乎存在内存泄漏，但是我不知道是什么原因导致的，也不知道如何释放此数量的内存。

任何想法？

Answer 1

您的方法不会显示内存泄漏，而只是显示PyYAML在处理中等大小的YAML文件时会占用大量内存。

如果您愿意：

import yaml
X = 10
for x in range(X):
    d = yaml.safe_load(open(filename, 'r'))

程序使用的内存大小将根据您将X设置为的大小而变化，因此有理由认为内存泄漏。

在我运行的测试中，情况并非如此。 仅仅是默认的Loader和SafeLoader占用了内存中文件大小的约330倍（基于简单的任意1Mb大小，即没有标签，YAML文件），而CLoader则约为文件大小的145x。

多次加载YAML数据不会增加这种情况，因此load()会返回它使用的内存，这意味着没有内存泄漏。

这并不是说看起来像是大量的开销。

（我正在使用safe_load()因为PyYAML的文档表明load()在不受控制的输入文件上并不安全）。