如何通过实体框架从 C# 中的同步代码并行运行查询

Question

我的目标是加快查询速度，我想利用并行性，假设我在 ids 列表中有 2,000 个项目，我将它们分成 4 个列表，每个列表有 500 个 id，我想打开 4 个踏板，每个将创建一个 DB 调用并统一它们的结果，以实现我使用 Parallel.ForEach，但它并没有提高查询的性能，因为它显然不太适合 io 绑定操作：IO 绑定操作的并行执行

if 块中的代码对每个都使用并行，而 else 块中的代码在常规 foreach 中执行。

问题是包含此查询的方法不是异步的（因为它在一个非常旧的组件中）并且不能更改为异步，基本上我想在非异步方法中进行并行 io 绑定计算（通过实体框架）。

实现这一目标的最佳实践是什么？ 我看到也许我可以为此使用Task.WaitAll() ，我不在乎阻塞运行此查询的线程，我更担心从非调用的Task.WaitAll()会出现问题异步方法

我在 SQL 数据库上使用实体框架作为 ORM，对于每个线程，我打开一个单独的上下文，因为上下文不是线程安全的。

也许我使用的锁是导致我出现问题的锁，我可以将其更改为ConcurrentDictionary 。

下面代码中描述的场景是我需要改进的场景，在我们的实际应用程序中，我确实需要在加载 id 后读取相关实体，并对它们执行复杂的计算。

代码：

//ids.Bucketize(bucketSize: 500) -> split one big list, to few lists each one with 500 ids 
IEnumerable<IEnumerable<long>> idsToLoad = ids.Bucketize(bucketSize: 500);
if (ShouldLoadDataInParallel())
{
    object parallelismLock = new object();
    
    Parallel.ForEach(idsToLoad,
        new ParallelOptions { MaxDegreeOfParallelism = 4 },
        (IEnumerable<long> bucket) =>
        {
        List<long> loadedIds = GetIdsQueryResult(bucket);

            lock (parallelismLock)
            {
                allLoadedIds.AddRange(loadedIds );
            }
        });
}
else
{
    foreach (IEnumerable<long> bucket in idsToLoad)
    {
        List<long> loadedIds = GetIdsQueryResult(bucket);

        allLoadedIds.AddRange(loadedIds);
    }
}

Answer 1

[并行运行多个查询]的最佳实践是什么？

带有单独的 DbContext/SqlConnection 的 Parallel.ForEach 是一种很好的方法。

只是并行运行查询在这里并没有真正的帮助。

如果您的 4 个查询命中 4 个单独的数据库，那么您可能会得到很好的改进。 但是有很多原因导致在单个实例上并行运行 4 个单独的查询可能不会比运行单个大型查询更快。 其中包括阻塞、资源争用、服务器端查询并行性以及查询之间的重复工作。

所以

我的目标是加快查询速度，我想利用并行性

因此，这通常不是加快查询速度的好方法。 但是，有许多加快查询速度的好方法，因此，如果您发布一个新问题，其中包含查询的详细信息以及一些示例数据，您可能会得到一些更好的建议。