C＃在核心之间有效地划分任务

Question

我正在研究在我的8核工作站上运行的小型模拟。 模拟涉及对大量独立节点之间的交互进行建模。 在一个阶段中，我需要并行地对每个节点执行一系列简单的原子操作。 我一直在使用System.Threading.Tasks中的Parallel.ForEach将操作同时应用到所有节点列表中的每个节点。

这适用于我用于测试的100-500个节点。 负载平衡得很好，所有核心都在不断使用。 不幸的是，当我尝试使用主数据集（5000+节点）运行模拟时，一切都会出错。 所有8个核心在大多数时间保持空闲状态，每几秒钟增加到100％，然后恢复到1％的利用率。 几分钟后抛出OutOfMemoryException并且程序崩溃。

我不完全确定有什么问题，但仍然怀疑我的当前代码产生的线程数多于对任务最佳的线程数。 我认为理想的方法是模型检测可用核心数N，将节点列表划分为N个段，然后生成N个线程，给每个线程一个单独的列表分区。

我想问的是，如果这确实是问题的一个很好的解决方案，那么存在更好的解决方案，它应该如何在C＃中实现？ 欢迎任何建议或意见。

编辑：按要求编码样本

Parallel.ForEach(listOfNodes, tempNode =>
{
   tempNode.foo();
} );

<snip>

void foo()
{
   foreach(myType bar in listOfmyType)
   {
       if (bar.isActive)
           setNodeActive();
   }
} 

Answer 1

请参阅此线程，该线程讨论限制Parallel.For用于避免内存不足的线程数：

http://connect.microsoft.com/VisualStudio/feedback/details/534571/parallel-foreach-may-create-an-inordinate-number-of-threads

我会尝试将ParallelOptions.MaxDegreeOfParallelism设置为大约500，看看会发生什么。

Answer 2

我认为理想的方法是模型检测可用核心数N，将节点列表划分为N个段，然后生成N个线程，给每个线程一个单独的列表分区。

这正是Parallel.ForEach所做的，所以必然会有另一个问题。

要自己想出一个更好的（线程管理）系统是非常困难的。 但您可以在任务库中使用自定义调度程序。