内存泄漏如何提高性能

Question

我正在构建一个充满节点的大型RTree（空间索引）。 它需要能够处理许多查询和更新。 对象不断被创建和销毁。 我正在运行的基本测试是随着树中对象数量的增加而看到树的性能。 我插入100-20000一致大小，随机定位的对象，增量为100.搜索和更新与我目前面临的问题无关。

现在，当不存在内存泄漏“插入树”的表现更是比比皆是。 它从大约15000个物体到10.5秒到大约18000个物体。 没有任何模式。

当我故意添加泄漏时，就像放入“new int”一样简单。 我没有将它分配给任何东西，即它本身就有一条线，性能立即落在一条漂亮的柔和曲线上，从100个物体的0（大约）秒到整个20k的1.5。

非常非常迷失在这一点上。 如果你想要源代码，我可以包含它，但它是huuugggeeee，字面意思是唯一有所作为的是“new int”。

提前致谢！ -缺口

Answer 1

我不确定你是如何想出这个new int测试，但这不是很好的修复方法:)使用分析器运行你的代码并找出实际延迟的位置。 然后集中精力固定热点。

g ++内置它 - 只需用-pg编译

Answer 2

没有更多信息，我们无法确定。

但是我想知道这是否与堆碎片有关。 通过创建释放许多内存块，您可能会创建一大堆连接在一起的小内存片段。内存管理器需要跟踪它们，以便在需要时再次分配它们。

当你释放一个块时，一些内存管理器试图将它与周围的内存块“合并”在一个高度分散的堆上，这可能会非常慢，因为它试图找到周围的块。 不仅如此，如果您的物理内存有限，它可以“触摸”内存块的许多物理页面，因为它跟随内存块链，这可能导致整个负载极慢的页面错误，速度变化很大，具体取决于确切的操作系统决定给这个过程多少物理内存。

通过留下一些未释放的内存，您将改变这种访问模式，这可能会对速度产生很大影响。 例如，您可能会强制运行时库每次分配新的内存块，而不是必须跟踪适当大小的现有块以便重用。

我没有证据证明你的程序就是这种情况，但我确实知道，当执行大量新的和免费的时，内存碎片通常是程序运行缓慢的原因。

Answer 3

可能发生的事情解释了这一点（一个理论）

1. 编译器没有删除空的新int
2. 新的int位于内部循环之一或递归遍历中的某个位置，其执行时间最长
3. 进程的整体RSS增加，并最终增加进程使用的总内存
4. 因此发生了页面错误
5. 由于页面错误，进程变为I / O绑定而不是CPU绑定最终结果，您看到吞吐量下降。 如果您可以提及正在使用的编译器以及用于构建代码的编译器的选项，将会有所帮助。

Answer 4

我在黑暗中采取了一个刺，但问题可能是堆碎片的方式。 你说你正在创造一个破坏大量的物体。 我将假设对象都是不同的大小。

当在堆上分配内存时，所需大小的单元将从堆中断开。 释放内存后，单元格将添加到空闲列表中。 当一个人执行新的alloc时，分配器会遍历堆，直到找到足够大的单元。 在进行大量分配时，空闲列表可能会变得相当长，并且遍历列表可能需要花费很多时间。

现在int很小。 因此，当你执行新的int时，它可能会占用空闲列表中的所有小堆单元，从而大大加快了更大的分配。

但是，您可能正在分配和释放类似大小的对象。 如果您使用自己的freelists，您将安全地进行许多堆散步，并可能显着提高性能。 这正是STL分配器为提高性能所做的工作。

Answer 5

解决方案：不要从Visual Studio运行。 实际上运行.exe文件。 弄清楚这是因为这是剖析器正在做的事情，数字神奇地下降。 检查内存使用情况和版本运行（并给我特别的时间）并没有达到过大的尺寸。

解决为什么地狱Visual Studio做这样荒谬的垃圾：没有头绪。