![](/img/trans.png)
[英]Load a DataTable from a SQLDataReader in batches using Powershell
[英]DataTable Takes Forever to Load Data from SqlDataReader
我使用以下代码从MS SQL Server表加载数据:
using (SqlDataReader rdr = cmd.ExecuteReader())
{
if (rdr.HasRows)
{
dt.Load(rdr); //takes forever to load
}
if (dt.Rows.Count > 0 && !dt.HasErrors)
{
Parallel.For (0, dt.Rows.Count, i =>
{
byte[] docBytes = (byte[])(dt.Rows[i]["DocObject"]); File.WriteAllBytes(Path.Combine(Path.Combine(AppDomain.CurrentDomain.BaseDirectory, "Documents\\"), $"{dt.Rows[i]["FileName"].ToString().ToLower()}"), docBytes);
});
}
}
}
SQL查询在不到一秒的时间内执行。 数据包含一个包含二进制文档数据的SQL图像列。 我使用System.Diagnostics的Stopwatch来计算执行时间,发现这个单个dt.Load(rdr)语句大约花了5分钟来加载大约5,000条记录。 我的应用程序需要加载数百万行,按此速率,应用程序将无法使用。 这是使用标准Windows窗体构建的Windows窗体应用程序。 有什么想法为什么dt.Load(rdr)需要永远? 任何关于重写此代码或改进其性能的想法都将非常感激。
尝试这样的事情,而不是将所有行加载到客户端的内存中:
using (SqlDataReader rdr = cmd.ExecuteReader(CommandBehavior.SequentialAccess))
{
while (rdr.Read())
{
string fn = rdr.GetString(0);
using (var rs = rdr.GetStream(1))
{
var fileName = $"c:\\temp\\{fn}.txt";
using (var fs = File.OpenWrite(fileName))
{
rs.CopyTo(fs);
}
Console.WriteLine(fileName);
}
}
}
下面的代码是未经测试的。这只是一个想法。
另一种方法是定义实体类并使用SqldataReader
填充列表。并且SqldataReader
不要使用DataTable
。
还应该尽快关闭数据库连接。所以在获取时不要做其他工作。
希望您在连接字符串中使用connection pool
public class Example
{
public byte DocObject {get;set;}
public string FileName {get;set;}
}
List<Example> objList=new List<Example>();
using (SqlDataReader rdr = cmd.ExecuteReader())
{
while (rdr.Read())
{
Example obj=new Example();
obj.DocObject=(byte[])rdr["DocObject"] //suitable cast
obj.FileName =rdr["FileName "].toSting() //suitable cast
objList.Add(obj);
}
}
}
if (objList.Count > 0)
{
Parallel.For (0, objList.Count, i =>
{
byte[] docBytes = (byte[])(objList[i]["DocObject"]); File.WriteAllBytes(Path.Combine(Path.Combine(AppDomain.CurrentDomain.BaseDirectory, "Documents\\"), $"{objList[i]["FileName"].ToString().ToLower()}"), docBytes);
});
}
}
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.