收藏和记忆

Question

我有一个应用程序读取3-4 GB的数据，从每行构建实体，然后将它们存储在列表中。

我遇到的问题是，内存增长疯狂变得像13到15 GB。 为什么存储这些实体会占用大量内存。

所以我构建了一个Tree并做了类似于Huffman Encoding的事情，整体内存大小变成了大约200 - 300 MB。

我明白，我压缩了数据。 但我没想到在列表中存储对象会增加内存。 为什么会这样？

其他数据结构如字典，堆栈，队列，数组等怎么样？

在哪里可以找到有关数据结构的内部和内存分配的更多信息？

或者我做错了什么？

Answer 1

在.NET中，大对象会进入未压缩的大对象堆。 大是85,000字节以上的一切。 当您增加列表时，它们可能会变得比这更大，并且一旦跨越当前容量就必须重新分配。 Rellocation意味着它们很可能放在堆的末尾。 所以你最终会得到一个非常分散的LOH和大量的内存使用。

更新 ：如果您使用所需的容量初始化列表（我可以从数据库中确定），那么您的内存消耗应该会有所下降。

Answer 2

无论您将要使用哪种数据结构，您的内存消耗都不会低于存储所有数据所需的内存。

您是否计算了存储一个实例类对象所需的内存量？

您的霍夫曼编码是一种节省空间的优化，这意味着您自己在类对象中消除了大量重复数据。 这与用于保存数据的数据结构无关。 这取决于您的数据本身的结构，以便您可以利用不同的节省空间的策略（其中霍夫曼编码是许多可能性中的一种，适用于消除公共前缀，用于存储它的数据结构是树） 。

现在，回到你的问题。 在不优化数据（即对象）的情况下，您可以注意一些事项以提高内存使用效率。

我们所有的物体都有相似的尺寸吗？

您是否只是运行循环，即时分配内存，然后将它们插入到列表中，如下所示：

foreach (var obj in collection) { myList.Add(new myObject(obj)); }

在这种情况下，您的列表对象将不断扩展。 如果最后没有足够的可用内存来扩展列表，.NET将分配一个新的更大的内存并将原始数组复制到新内存中。 基本上你最终得到两块内存 - 原始内存和新扩展内存（现在持有列表）。 这么做很多次（因为你显然需要GB的数据），而且你正在寻找很多 碎片化的内存空间。

你可以一次为整个列表分配足够的内存。

作为一个后记，我不禁想知道：你是如何在世界上要寻找这个巨大的名单上找到您需要的？ 你不应该使用像二叉树或哈希表这样的东西来帮助你搜索吗？ 也许您只是阅读所有数据，对所有数据执行一些处理，然后将它们写回...

Answer 3

如果您正在使用类，请阅读以下响应： 了解32位与64位之间的CLR对象大小

在64位（你使用64位，对吗？）对象开销是16个字节加上对象的引用（有人引用他，对吗？）所以另外8个字节。 所以一个空对象将“吃掉”至少24个字节。

如果你正在使用List ，请记住List通过加倍增长，所以你可能会浪费很多空间。 其他.NET集合以相同的方式增长。

我将补充说，百万名List的“纯粹”开销可能会让记忆瘫痪。 除了List对象“吃掉”的16 + 8字节空间外，它由2个整数（8个字节）组成（在.NET实现中），一个SyncLock引用（8个字节，通常为空）和一个引用内部数组（所以8 + 16字节+数组）