使用大列表时出现System.OutOfMemoryException

Question

我有一个代码：

this.weights_StoA = new List<List<double>>();

if (NETWORK_MODE == 0)
{
    Random rand = new Random();

    int count = enters.Count;

    Parallel.For(0,  HIDDEN_NEURONS_COUNT, (i, loopState) =>
    {
        List<double> weights = new List<double>();

        for (int j = 0; j < count; j++)
        {
            weights.Add(rand.NextDouble());
        }

        lock (weights_StoA)
        {
            weights_StoA.Add(weights);
        }
    });
}

weights_StoA是一个List<List<double>> 。

我正在处理大型阵列。 HIDDEN_NEURONS_COUNT = 63480, entres.Conut = 126960 。 此代码引发System.OutOfMemoryException 。 我试图将体系结构更改为x64，但是它仍然抛出相同的异常。

我该如何解决？ 如果您能帮助我解决这个问题，我将不胜感激！

Answer 1

忽略程序需要超过100GB RAM的事实，如果您事先知道列表的大小，则可以预先分配它或使用固定大小的数组：这避免了动态调整大小和重新分配：

List<double> weights = new List<double>( count );
for( int j = 0; j < count; j++ )
{
     weights.Add( rand.NextDouble() );
}

要么：

double[] weights = new double[count];
for( int j = 0; j < count; j++ )
{
     weights[j] = rand.NextDouble();
}

Answer 2

.Net垃圾收集器不会压缩大型对象，以免影响性能。 因此，您有2个选择：

1. 为大型数据分配一次阵列。

2. 定期将属性GCSettings.LargeObjectHeapCompactionMode的值设置为GCLargeObjectHeapCompactionMode.CompactOnce 。 下一个GC调用将处理大对象，并且将重置为默认值。 参见https://msdn.microsoft.com/zh-cn/library/system.runtime.gcsettings.largeobjectheapcompactionmode(v=vs.110).aspx