在执行插入更新命令时从SQL Server搜索数据时出现TIMEOUT问题

Question

我有一个用C＃开发的Windows服务。 此服务将XML文件中的数据导入SQL Server数据库，导入到不同的表中。 这些XML文件很大。 500 MB大小的特定文件需要超过1小时才能导入到包含数百万行的表中。

我有一个在ASP.NET MVC中开发的Web应用程序，上面的数据库是在这个应用程序的后端。 此应用程序通过过滤此数据库的表中的相关记录来显示不同的报告。 此应用程序也操纵记录。

当我在Windows服务导入XML文件期间运行应用程序与数据库交互时，我的Web应用程序挂起，并在很长一段时间后发生超时错误。

我在Windows服务的存储过程中使用简单的插入更新命令，并且这些存储过程中没有事务。

请告知任何解决方案以避免此问题。

Answer 1

你可以像这样增加命令时间

cmd.CommandTimeout = 3600; // in seconds

您还必须查看存储过程为什么它会超时您的查询会破坏某些位置

Answer 2

根据我的经验，我可以提出一些建议。

首先，在单个事务中推送500MB的整个数据是不可取的。

然后创建必要的保存点，如果所有事务都成功，最后提交它。

因为不建议长时间保持连接对象。 如果您仍然需要，可以尝试增加sql server超时。 但这是一个糟糕的方法。

最好是拆分xml内容并尝试使用保存点并最终提交所有事务。

不要以为你只是做一个简单的插入或更新命令。 如果列上有索引，则这些记录需要很长时间。

确保您拥有正确的索引并且只有必要的索引。

如果您有任何疑问，请在此处回复。 您在当前代码中使用的方法是什么？

Answer 3

任何 SQL Server INSERT或UPDATE命令都在事务中运行 - 无论您是否指定了一个。 如果您自己未指定任何内容，SQL Server将使用隐式事务来确保语句的数据完整性。

默认情况下，SQL Server使用行级锁 ，例如，它只锁定要插入或更新的行。 但是，如果该事务将影响超过5000行，则SQL Server将执行锁升级并使用完整表独占锁替换5000个单独的行级锁，直到操作完成并且提交（或回滚）事务为止。

在此期间， 没有其他操作 - 甚至不是SELECT ，可能对该表....

唯一的解决方案是在没有其他操作针对数据库运行的情况下运行这些导入，或者将这些插入拆分为可以单独提交的少于5000行的较小块。

Answer 4

您可以增加配置文件中的最大连接数。 这是我的配置文件：

<connectionStrings>
<add name="local" connectionString="user id=sa;password=test+;Data Source=    (local);Max Pool Size=500;Pooling=true;Database=user"   providerName="System.Data.SqlClient" />
</connectionStrings>  

我设置了Max Pool Size = 500

Answer 5

如果您正在运行SQL Server Enterprise Edition，则应该利用表分区 。 您可以做什么，特别是数据加载，将数据加载到临时表，然后将分区切换到最终表。 这将消除加载过程中最终表上的任何表级锁定，因此您的报告可以在加载发生的同时运行。 这里的副产品是加载的数据在加载过程完成并切换分区之前将无法查看报告。

您将需要正确设计，因为它将取决于我不会在这篇文章中引入细微差别的各种因素，但是您可以找到许多关于此的博客： 这里有一个供参考让你去

Answer 6

你应该尝试使用（nolock）选项。 这个SO提供了有关Nolock的详细信息。 如果您正在使用像EntityFramework这样的ORM，那么我们需要仔细查看代码。