C# 在 foreach 循环中进行异步 http 请求

Question

我需要发出多个 Web 请求，其中 URI 位于 DataTable 中。 早些时候我有下面的代码。 但我意识到这会进行同步调用，因为await会等到 GET/POST 调用完成并处理响应，然后继续进行下一次迭代。

foreach (DataRow dr in dt.Rows)
{
    activeTasks.Add(SendRequestAsync(dr));
    Task.WhenAll(activeTasks).Wait();
}

private async Task<string> SendRequestAsync(DataRow dr)
{
    using (var client = new HttpClient())
    {
        string reqMethod = (dr["RequestMethod"] != null && dr["RequestMethod"].ToString() != "") ? dr["RequestMethod"].ToString() : "GET";
        client.BaseAddress = new Uri(dr["URL"].ToString());
        client.DefaultRequestHeaders.Accept.Clear();
        string reqContentType = (dr["RequestContentType"] != null && dr["RequestContentType"].ToString() != "") ? dr["RequestContentType"].ToString() : "text/xml";
        client.DefaultRequestHeaders.Accept.Add(new MediaTypeWithQualityHeaderValue(reqContentType));

        HttpResponseMessage response = null;
        try
        {
            if (reqMethod == "GET")
                response = await client.GetAsync(client.BaseAddress.AbsoluteUri);
            else
                response = await client.PostAsync(client.BaseAddress.AbsoluteUri, null);

            response.EnsureSuccessStatusCode();
            var responseText = await response.Content.ReadAsStringAsync();
            return responseText;
        }
        catch (Exception e)
        {
            return "-1";
        }
    }
}

然后我遇到了Parallel功能并改用Parallel.ForEach 。 像这样：

Parallel.ForEach(rows, dr =>
{
    activeTasks.Add(SendRequestAsync(dr));
    Task.WhenAll(activeTasks).Wait();
});

这工作正常，实现了并行性，请求是异步的，与早期的解决方案相比，它在很短的时间内完成。 但问题是它不可靠 - 有时我会遇到类似的错误

• System.IndexOutOfRangeException：索引超出了数组的范围
• System.InvalidOperationException：集合已修改； 枚举操作可能无法执行。

无论如何，我们可以在 foreach 中实现 http 异步调用吗？

Answer 1

正如@Johnathon_Chase 所说，只需将您的WhenAll()调用移出循环：

foreach (DataRow dr in dt.Rows)
{
    activeTasks.Add(SendRequestAsync(dr));
}
Task.WhenAll(activeTasks).Wait();

for循环填充集合，然后Task.WhenAll()在请求完成时阻塞。

Answer 2

Parallel.ForEach用于 CPU 密集型操作，不是为 I/O 密集型操作或异步设计的。

您可以在foreach循环中await就好了。 但是，包含循环的方法本身必须是异步的。