在几个线程上运行Parallel.Foreach的性能

Question

我有3个主要的处理线程，每个线程都通过Parallel.Foreach对ConcurrentDictionaries的值执行操作。 词典的大小从1,000个元素到250,000个元素不等

TaskFactory factory = new TaskFactory();
Task t1 = factory.StartNew(() =>
{
        Parallel.ForEach(dict1.Values, item => ProcessItem(item));
});

Task t2 = factory.StartNew(() =>
{                                
        Parallel.ForEach(dict2.Values, item => ProcessItem(item));
});

Task t3 = factory.StartNew(() =>
{                           
        Parallel.ForEach(dict3.Values, item => ProcessItem(item));
});
t1.Wait();
t2.Wait();
t3.Wait();

我比较了这个构造的性能（总执行时间）和刚刚在主线程中运行Parallel.Foreach并且性能提高了很多（执行时间减少了大约5倍）

我的问题是：

1. 上面的方法有问题吗？ 如果是，那么改进的内容和方式如何？
2. 执行时间不同的原因是什么？
3. 调试/分析这种情况的好方法是什么？

编辑 ：进一步澄清情况：我在WCF服务上模拟客户端调用，每个调用都来自一个单独的线程（任务的原因）。 我还尝试使用ThreadPool.QueueUserWorkItem而不是Task，没有性能提升。 字典中的对象具有20到200个属性（只是小数和字符串），并且没有I / O活动

我通过在BlockingCollection中排队处理请求并在那时处理它们来解决了这个问题

Answer 1

你可能过度并行化了。

如果已经在每个任务中使用了良好（且平衡）的并行化，则无需创建3个任务。

Parallel.Foreach已经尝试使用正确数量的线程来利用完整的CPU潜力而不会使其饱和。 通过创建具有Parallel.Foreach其他任务，您可能正在使其饱和。
（编辑：正如Henk所说 ，他们在协调并行运行时产生的线程数可能存在一些问题，至少这会导致更大的开销）。

看看这里有一些提示。

Answer 2

首先，Task不是Thread。

您的Parallel.ForEach()调用由使用ThreadPool的调度程序运行，并应尝试优化线程使用。 ForEach适用于分区程序。 当你并行运行它们时，它们不能很好地协调。

只有在出现性能问题时，才考虑使用额外的任务或DegreeOfParallelism指令。 然后始终首先进行剖析和分析。

对结果的解释很困​​难，可能是由许多因素（例如I / O）引起的，但“单一主要任务”的优点是调度程序具有更多控制权，CPU和Cache使用得更好（局部性） 。

Answer 3

字典的大小和外观各不相同（鉴于所有内容都在<5s内完成），处理工作量很小。 不知道更多，很难说实际上发生了什么。 你的字典项有多大？ 您正在比较这个主线程场景看起来像这样吗？

Parallel.ForEach(dict1.Values, item => ProcessItem(item)); 
Parallel.ForEach(dict2.Values, item => ProcessItem(item)); 
Parallel.ForEach(dict3.Values, item => ProcessItem(item)); 

通过在每个ForEach周围添加任务，您可以增加更多管理任务的开销，并可能导致内存争用，因为dict1，dict2和dict3都会同时尝试并在内存中缓存。 请记住，CPU周期很便宜，缓存未命中。