[英]How to yield from parallel tasks in .NET 4.5
我想使用.NET迭代器和并行Tasks / await?。 像这样的东西:
IEnumerable<TDst> Foo<TSrc, TDest>(IEnumerable<TSrc> source)
{
Parallel.ForEach(
source,
s=>
{
// Ordering is NOT important
// items can be yielded as soon as they are done
yield return ExecuteOrDownloadSomething(s);
}
}
不幸的是.NET无法原生地处理这个问题。 到目前为止@svick的最佳答案 - 使用AsParallel()。
奖励:任何实现多个发布者和单个订阅者的简单异步/等待代码? 订阅者将屈服,并且pubs将处理。 (仅核心库)
这似乎是PLINQ的工作:
return source.AsParallel().Select(s => ExecuteOrDownloadSomething(s));
这将使用有限数量的线程并行执行委托,并在完成后立即返回每个结果。
如果ExecuteOrDownloadSomething()
方法是IO绑定的(例如它实际下载了一些东西)并且你不想浪费线程,那么使用async
- await
可能有意义,但它会更复杂。
如果你想充分利用async
,你不应该返回IEnumerable
,因为它是同步的(即如果没有可用的项,它会阻塞)。 你需要的是某种异步集合,你可以使用TPL Dataflow的ISourceBlock
(特别是TransformBlock
):
ISourceBlock<TDst> Foo<TSrc, TDest>(IEnumerable<TSrc> source)
{
var block = new TransformBlock<TSrc, TDest>(
async s => await ExecuteOrDownloadSomethingAsync(s),
new ExecutionDataflowBlockOptions
{
MaxDegreeOfParallelism = DataflowBlockOptions.Unbounded
});
foreach (var item in source)
block.Post(item);
block.Complete();
return block;
}
如果源是“慢”(即您希望在迭代source
完成之前开始处理来自Foo()
的结果),您可能希望将foreach
和Complete()
调用移动到单独的Task
。 更好的解决方案是将source
转换为ISourceBlock<TSrc>
。
因此,您真正想要做的就是根据完成时间顺序排列一系列任务。 这不是非常复杂:
public static IEnumerable<Task<T>> Order<T>(this IEnumerable<Task<T>> tasks)
{
var input = tasks.ToList();
var output = input.Select(task => new TaskCompletionSource<T>());
var collection = new BlockingCollection<TaskCompletionSource<T>>();
foreach (var tcs in output)
collection.Add(tcs);
foreach (var task in input)
{
task.ContinueWith(t =>
{
var tcs = collection.Take();
switch (task.Status)
{
case TaskStatus.Canceled:
tcs.TrySetCanceled();
break;
case TaskStatus.Faulted:
tcs.TrySetException(task.Exception.InnerExceptions);
break;
case TaskStatus.RanToCompletion:
tcs.TrySetResult(task.Result);
break;
}
}
, CancellationToken.None
, TaskContinuationOptions.ExecuteSynchronously
, TaskScheduler.Default);
}
return output.Select(tcs => tcs.Task);
}
所以这里我们为每个输入任务创建一个TaskCompletionSource
,然后遍历每个任务并设置一个继续,它从BlockingCollection
获取下一个完成源并设置它的结果。 完成的第一个任务抓取返回的第一个tcs,第二个任务完成获取返回的第二个tcs,依此类推。
现在您的代码变得非常简单:
var tasks = collection.Select(item => LongRunningOperationThatReturnsTask(item))
.Order();
foreach(var task in tasks)
{
var result = task.Result;//or you could `await` each result
//....
}
在MS机器人团队制作的异步库中,它们具有并发原语,允许使用迭代器生成异步代码。
图书馆(CCR)是免费的(它不是免费的)。 这里有一篇很好的介绍性文章: 并发事务
也许你可以将这个库与.Net任务库一起使用,或者它会激励你“自己动手”
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.