将大型xml文件插入xml列的最佳方法（在远程SQL Server上）

Question

假设我有一个这样的表：

CREATE TABLE [dbo].[TBL_XML]
(
   [XmlFileID]       [BIGINT] IDENTITY (1, 1) NOT NULL,
   [FileName]        [NVARCHAR](500) NULL,   
   [XmlData]         [XML] NULL,
   [DateCreated]     [DATETIME] NOT NULL,
)

我目前用来填充表格的方法是这样的：

using (SqlCommand cmd = new SqlCommand())
{
    cmd.CommandText = @"INSERT INTO [dbo].[TBL_XML] 
                                    ( [XmlData] , 
                                    [FileName] , 
                                    [DateCreated]
                                    ) 
                        VALUES (@XMLData, @FileName, GETDATE())";

    using (var xmlReader = new XmlTextReader(new FileStream(item.XmlFileName, FileMode.Open)))
    {
        cmd.Parameters.Add("@FileName", SqlDbType.NVarChar, 500).Value = System.IO.Path.GetFileName(item.XmlFileName);
        cmd.Parameters.Add(
        new SqlParameter("@XMLData", SqlDbType.Xml)
        {
            Value = new SqlXml(xmlReader)
        });

        SetConnectionParameters(cmd);

        cmd.ExecuteScalar());
    }
}

但这不适用于非常大的XML，因为整个文件都加载到内存中，我得到了OutOfMemory异常。

从运行在与服务器不同的机器上的.net应用程序中将大（> 100MB）XML文件插入XMLData列的最佳方法是什么？

批量插入是不可能的，因为SQL服务器将无法访问我的XML文件。

Answer 1

将XML加载到数据库的最佳方法是不将XML加载到数据库中。 如果你真的需要这样做（你可能不这样做），你应该看看像Cassandra或Mongo这样的noSQL解决方案。

如果“需要”存储XML，那么您可能在其他地方做出了错误的架构选择。 考虑是否有更好的方法来表示信息。 XML是一种交换格式，不是保持长期信息的良好格式。

总而言之，您可以使用支持流式传输的BCP或OLEDB接口。 以下是一个示例： 批量导入示例

Answer 2

下面是一个仅使用.NET进行块化的可能方法。 我没有尝试执行它，但它应该工作。

    public static ChunkedXmlInsert(XmlItem item)
    {
        int bufferSize = 65536;

        using (SqlConnection connection = new SqlConnection(connectionString))
        {
            CreateTempTable(connection);

            int position = 0;
            using (StreamReader textStream = File.OpenText(item.XmlFileName))
            {
                char[] buffer = new char[bufferSize];
                int length = textStream.Read(buffer, position, buffer.Length);
                long id = InsertFirstBlock(connection, new string(buffer, 0, length));

                while (textStream.EndOfStream == false)
                {
                    position += length;
                    length = textStream.Read(buffer, position, buffer.Length);
                    AppendBlock(connection, id, new string(buffer, 0, length));
                }
            }

            CopyRecordFromTemp(connection, id);
        }
    }

    private static void CreateTempTable(SqlConnection connection)
    {
        using (SqlCommand command = connection.CreateCommand())
        {
            command.CommandType = CommandType.Text;
            command.CommandText = @"CREATE TABLE #TBL_XML (
                                                              [XmlFileID] [BIGINT] IDENTITY (1, 1) NOT NULL PRIMARY KEY,
                                                              [FileName] [NVARCHAR](500) NULL,
                                                              [XmlData] [NVARCHAR(MAX)] NULL,
                                                              [DateCreated] [DATETIME] NOT NULL
                                                          )";
            command.ExecuteNonQuery();
        }
    }

    private static long InsertFirstBlock(SqlConnection connection, string text)
    {
        using (SqlCommand command = connection.CreateCommand())
        {
            command.CommandType = CommandType.Text;
            command.CommandText = @"INSERT INTO #TBL_XML
                                                        ( [XmlData] , 
                                                          [FileName] , 
                                                          [DateCreated]
                                                        ) 
                                        VALUES (@XMLData, @FileName, GETDATE()); SELECT SCOPE_IDENTITY()";

            command.Parameters.AddWithValue("@FileName", System.IO.Path.GetFileName(item.XmlFileName));
            command.Parameters.AddWithValue("@XmlData", text);
            return (long)command.ExecuteScalar();
        }
    }

    private static void AppendBlock(SqlConnection connection, long id, string text)
    {
        using (SqlCommand command = connection.CreateCommand())
        {
            command.CommandType = CommandType.Text;
            command.CommandText = @"UPDATE #TBL_XML
                                            SET XmlData = XmlData + @xmlData
                                    WHERE XmlFileID = @XmlFileID";

            command.Parameters.AddWithValue("@XmlData", text);
            command.Parameters.AddWithValue("@XmlFileID", id);
            command.ExecuteNonQuery();
        }
    }

    private static long CopyRecordFromTemp(SqlConnection connection, long id)
    {
        using (SqlCommand command = connection.CreateCommand())
        {
            command.CommandType = CommandType.Text;
            command.CommandText = @"INSERT INTO [dbo].[TBL_XML] ([XmlData], [FileName], [DateCreated])
                                    SELECT CONVERT(xml, [XmlData]), [FileName], [DateCreated]
                                    FROM #TBL_XML
                                    WHERE XmlFileID = @XmlFileID; SELECT SCOPE_IDENTITY()";
            return (long)command.ExecuteScalar();
        }
    }

Answer 3

本文提供了使用LOB的一些背景信息。 检查一下

我刚用xml字段测试了OPENROWSET BULK语法，它可以工作。 如果您的SQL服务器可以访问该文件，那么这是一个选项（我只是注意到它不是一个选项，所以我将进行更多实验）。 否则，您需要尝试偏移写入解决方案。 到目前为止，我无法使用.WRITE方法来处理xml字段。

本文表明您可以使用BCP插入XML。 这将需要安装SQL Server客户端工具。

Answer 4

由于需要在远程SQL Server上存储数据，因此需要通过网络传输整个文件内容。 一般来说有两种方式：

• 您将数据传输到远程服务器;
• 远程服务器从本地文件中读取数据。

第二种方式不在这个问题的范围内。 第一个可以通过多种方式完成，假设您在远程服务器上实现存储过程：

• 实现“上传”功能，分段传输数据，在服务器端加入数据，在数据库中存储;
• 在客户端打包XML内容，在服务器端打包和存储;
• 以上方法的组合。

Answer 5

@xmlstring是输入xml

INSERT INTO @Temptbl           
   SELECT CONVERT(varchar(12), e.query('./Name/text()')) LogNumber             
   FROM @xmlstring.nodes('//RootNode/Root') AS n(e)     

select Temptbl     

Answer 6

您可以编写存储过程以将大型xml文件插入数据库。 在该存储过程中，您可以将xml文件输入作为nvarchar（max）发送。 请注意，nvarchar（max）最多可接受8000个字符。

在您的代码中，主要流程是您从文件流传递xml，这是非常昂贵的事情。

如果您的文件从nvarchar（max）变大，那么您可以在存储过程中使用更多输入参数，然后连接这些输入参数以将单个值作为xml文件插入。

Answer 7

看起来像SqlXml参数类型接受XmlReader作为输入。

作为基于流的阅读器，这应该删除您遇到的内存限制。

using (SqlCommand cmd = new SqlCommand())
{
    SqlParameter sqlParameter = cmd.CreateParameter();
    sqlParameter.Direction = System.Data.ParameterDirection.Input;
    sqlParameter.Value = new System.Data.SqlTypes.SqlXml(xmlReader);
    ...
}

Answer 8

我认为您应该创建一个SSIS包来将XML文件导入SQL Server数据库。 然后，如果您需要使用C＃，则可以以编程方式执行此包。 它会更有效率，它就像一个魅力。

Answer 9

将XML文件存储在FileTable中。

Answer 10

1）创建一个存储过程以插入表中。
2）将您的xml作为varchar（max）从C＃代码传递。

要么

2）以块的形式分解文件。
3）以XML作为参数执行SP。

Answer 11

请使用sql xml批量加载程序http://msdn.microsoft.com/en-us/library/ms171806.aspx