Parallel.ForEach 没有按预期在 C# 的 ConcurrentBag 中添加项目

Question

在我的Asp.Net Core WebApi Controller ，我收到了IFormFile[] files 。 我需要将其转换为List<DocumentData> 。 我首先使用foreach 。 它工作正常。 但后来决定更改为Parallel.ForEach因为我收到了很多（> 5）个文件。

这是我的DocumentData类：

public class DocumentData
{
    public byte[] BinaryData { get; set; }
    public string FileName { get; set; }
}

这是我的Parallel.ForEach逻辑：

var documents = new ConcurrentBag<DocumentData>();
Parallel.ForEach(files, async (currentFile) =>
{
    if (currentFile.Length > 0)
    {
        using (var ms = new MemoryStream())
        {
            await currentFile.CopyToAsync(ms);
            documents.Add(new DocumentData
            {
                BinaryData = ms.ToArray(),
                FileName = currentFile.FileName
            });
        }
    }
});

例如，即使有两个文件作为输入， documents总是给出一个文件作为输出。 我错过了什么吗？

我最初有List<DocumentData> 。 我发现它不是线程安全的并更改为ConcurrentBag<DocumentData> 。 但我仍然得到了意想不到的结果。 请帮助我错在哪里？

Answer 1

我想这是因为Parallel.Foreach不支持async/await 。 它只将Action作为输入并为每个项目执行它。 在异步委托的情况下，它将以即发即忘的方式执行它们。 在这种情况下，传递的 lambda 将被视为async void函数，并且不能等待async void 。

如果有需要Func<Task>重载，那么它会起作用。

我建议您在Select的帮助下创建Task并使用Task.WhenAll执行它们。

例如：

var tasks = files.Select(async currentFile =>
{
    if (currentFile.Length > 0)
    {
        using (var ms = new MemoryStream())
        {
            await currentFile.CopyToAsync(ms);
            documents.Add(new DocumentData
            {
                BinaryData = ms.ToArray(),
                FileName = currentFile.FileName
            });
        }
    }
});

await Task.WhenAll(tasks);

此外，您只需从该方法返回DocumentData实例即可改进该代码，在这种情况下，无需修改documents集合。 Task.WhenAll具有重载，它以IEnumerable<Task<TResult>作为输入并生成TResult数组的Task 。 所以，结果会是这样：

var tasks = files.Select(async currentFile =>
    {
        if (currentFile.Length > 0)
        {
            using (var ms = new MemoryStream())
            {
                await currentFile.CopyToAsync(ms);
                return new DocumentData
                {
                    BinaryData = ms.ToArray(),
                    FileName = currentFile.FileName
                };
            }
        }

        return null;
    });

var documents =  (await Task.WhenAll(tasks)).Where(d => d != null).ToArray();

Answer 2

您对并发集合有正确的想法，但误用了TPL 方法。

简而言之，您需要非常小心异步 lambdas ，如果您将它们传递给Action或Func<Task>

您的问题是因为Parallel.For / ForEach不适合async 和 await 模式或IO 绑定任务。 它们适用于受CPU 限制的工作负载。 这意味着它们本质上具有Action参数，让任务调度程序为您创建任务

如果您想同时运行多个任务，请使用Task.WhenAll ，或者可以有效处理CPU 绑定和IO 绑定的工作负载的TPL Dataflow ActionBlock ，或者更直接地说，它们可以处理异步任务方法是。

根本问题是，当您在Action上调用异步 lambda时，您实际上是在创建一个async void方法，该方法将作为未观察到的任务运行。 也就是说，你的TPL 方法只是并行创建一堆任务来运行一堆未观察到的任务，而不是等待它们。

可以这样想，你让一群朋友去给你买一些杂货，他们又告诉别人去买你的杂货，但你的朋友向你汇报并说他们的工作完成了。 显然不是，而且你没有杂货。