C＃：连接错误在Parallel.ForEach中打开SqlConnection

Question

我有一个.NET Core C＃控制台应用程序，该应用程序执行大量计算，然后使用Dapper（和Dapper.Contrib）将结果写入SQL Server 2016 Developer版本数据库。 我遇到的问题是，当我并行运行许多项目（例如，大于1000）时，我开始在.Open()调用中出现间歇性连接失败，说

发生与网络相关或特定于实例的错误...

这通常在成功插入几千行之后发生。

该代码的简化版本如下所示：

        Parallel.ForEach(collection, (item) =>
        {
                var results = item.Calculate(parameters);

                dal.Results.Insert(results);

                allResults.AddRange(results);
        });

在Insert方法中，它看起来像这样：

    public override void Insert(IEnumerable<Result> entities)
    {
        using (var connection = GetConnection())
        {
            connection.Open();

            using (var transaction = connection.BeginTransaction(IsolationLevel.ReadCommitted))
            {
                connection.Insert(entities, transaction);

                transaction.Commit();
            }
        }
    }

我认为不影响代码的其他一些事情，但可能与之相关：

• dal.Results只是一个包含该Insert()方法的存储库，并使用连接字符串进行了dal.Results初始化，该连接字符串用于在每次调用GetConnection()时实例化new SqlConnection(connectionString) 。

• allResults是一个ConcurrentBag<Result> ，我正在使用它存储所有结果以供以后在Parallel.ForEach外使用

• 我正在使用一个事务，因为它似乎可以通过这种方式执行得更好，但是如果有可能引起问题，我愿意提出建议。

在此先感谢您提供有关此问题的任何指导！

Answer 1

并行执行大量受IO约束的db操作没有优势。

您应该发烧，但要插入大量数据，而数据库事务的数量最少。 这可以通过以下几种方法实现：

• 通过.NET Framework提供的SQL批量插入操作
• 通过使用专门用于高速批量操作的外部库
• 通过制作以数据数组为参数的sql存储过程。 有关表值参数的更多信息， 请参见https://docs.microsoft.com/zh-cn/sql/relational-databases/tables/use-table-valued-parameters-database-engine

因此，请尝试以下操作：在并行循环中执行CPU密集型计算，然后将allResults循环保存到数据库中。