C＃在核心之間有效地划分任務

Question

我正在研究在我的8核工作站上運行的小型模擬。 模擬涉及對大量獨立節點之間的交互進行建模。 在一個階段中，我需要並行地對每個節點執行一系列簡單的原子操作。 我一直在使用System.Threading.Tasks中的Parallel.ForEach將操作同時應用到所有節點列表中的每個節點。

這適用於我用於測試的100-500個節點。 負載平衡得很好，所有核心都在不斷使用。 不幸的是，當我嘗試使用主數據集（5000+節點）運行模擬時，一切都會出錯。 所有8個核心在大多數時間保持空閑狀態，每幾秒鍾增加到100％，然后恢復到1％的利用率。 幾分鍾后拋出OutOfMemoryException並且程序崩潰。

我不完全確定有什么問題，但仍然懷疑我的當前代碼產生的線程數多於對任務最佳的線程數。 我認為理想的方法是模型檢測可用核心數N，將節點列表划分為N個段，然后生成N個線程，給每個線程一個單獨的列表分區。

我想問的是，如果這確實是問題的一個很好的解決方案，那么存在更好的解決方案，它應該如何在C＃中實現？ 歡迎任何建議或意見。

編輯：按要求編碼樣本

Parallel.ForEach(listOfNodes, tempNode =>
{
   tempNode.foo();
} );

<snip>

void foo()
{
   foreach(myType bar in listOfmyType)
   {
       if (bar.isActive)
           setNodeActive();
   }
} 

Answer 1

請參閱此線程，該線程討論限制Parallel.For用於避免內存不足的線程數：

http://connect.microsoft.com/VisualStudio/feedback/details/534571/parallel-foreach-may-create-an-inordinate-number-of-threads

我會嘗試將ParallelOptions.MaxDegreeOfParallelism設置為大約500，看看會發生什么。

Answer 2

我認為理想的方法是模型檢測可用核心數N，將節點列表划分為N個段，然后生成N個線程，給每個線程一個單獨的列表分區。

這正是Parallel.ForEach所做的，所以必然會有另一個問題。

要自己想出一個更好的（線程管理）系統是非常困難的。 但您可以在任務庫中使用自定義調度程序。