为什么我得到System.OutOfMemoryException

Question

我正在使用Linq到Sql。 这是代码：

Dictionary<string, int> allResults;
using (var dc= new MyDataContext())
{
    dc.CommandTimeout = 0;
    allResults = dc.MyTable.ToDictionary(x => x.Text, x => x.Id);
}

它在64位计算机上运行，​​编译为AnyCPU。 它引发System.OutOfMemoryException。

这将访问SQL Server数据库。 Id字段映射到SQL Server int字段，而Text字段映射到Text（nvarchar（max））字段。 运行select COUNT(*) from TableName产生1,173,623条记录，而运行select COUNT(*) from TableName中的select sum(len(Text)) from TableName产生48,915,031条记录。 由于int是一个32位整数，因此id应该仅占用4.69MB的空间，并且字符串应小于1GB。 因此，我们甚至都没有违反2GB /对象的限制。

然后，我以这种方式更改代码：

Dictionary<string, int> allResults;
using (var dc = new MyDataContext())
{
   Dictionary<string, int> threeHundred;
   dc.CommandTimeout = 0;
   var tot = dc.MyTable.Count();
   allResults = new Dictionary<string, int>(tot);
   int skip = 0;
   int takeThis = 300000;
   while (skip < tot)
   {
      threeHundred = dc.MyTable.Skip(skip).Take(takeThis).ToDictionary(x => x.Text, x => x.Id);
      skip = skip + takeThis;
      allResults = allResults.Concat(threeHundred).ToDictionary(x => x.Key, x => x.Value);
      threeHundred = null;
      GC.Collect();
    }
}

我了解到这里的垃圾协作无济于事，并且一旦skip = 900,000，则在while循环的第一行抛出了内存不足异常。

有什么问题，我该如何解决？

Answer 1

在不计算内存中需要占用多少内存的情况下（由于可能存在编码问题，很容易使数据大小增加一倍），我将尝试给出一些指针。

从问题的原因开始-我的猜测是ThreeHundred字典引起了大量分配。 当您向上述词典中添加项目时，该词典将无法知道应预分配多少个项目。 这将导致大规模重新分配所有数据并将其应对新创建的字典。 在向其中添加任何项目之前，请为ThreeHundred词典设置大小（使用ctor）。

请阅读我发表的这篇文章，该文章深入介绍了Dictionary的内部原理-我相信它将为这些症状提供一些启示。 http://www.codeproject.com/Articles/500644/Understanding-Generic-Dictionary-in-depth

另外，当尝试填充大量数据时，建议完全控制该过程。 我的建议：

• 在Dictionary中预分配插槽（直接在DB上使用Count查询，并将其传递给Dictionary ctor）
• 使用DataReader填充这些项目，而无需将所有查询结果都加载到内存中。 如果您知道一个事实（事先知道这一点非常重要），请考虑使用string.Intern-仅在有很多重复项的情况下！ -您应该测试一下它的工作方式
• 内存分析代码-您应该只为字典分配一个分配，字符串为查询中项目的数量（整数是值类型-因此，它不作为对象分配在堆上，而是放在内部词典。

无论哪种方式，都应该检查您是在32位还是64位上运行。 .Net 4.5首选32位。 （在任务管理器或项目属性上检查）

希望这对您有帮助，Ofir。