从网络服务器读取大 XML 文件而不拆分成较小的块

Question

我正在从 3rd 方服务器下载文件，如下所示：

Try
    req = DirectCast(HttpWebRequest.Create("https://www.example.com/my.xml"), HttpWebRequest)
    req.Timeout = 100000 '100 seconds
    Resp = DirectCast(req.GetResponse(), HttpWebResponse)
    reader = New StreamReader(Resp.GetResponseStream)
    responseString = reader.ReadToEnd()
Catch ex As Exception

End Try

文件 my.xml 是 1.2GB，我收到错误“抛出类型为‘System.OutOfMemoryException’的异常”。 当我打开 Windows 任务管理器时，我看到 memory 的使用率仅占总可用量的 70% memory 和 IIS 工作进程的大小没有增长以使用完整系统 memory。当我发现这个时： https -us/archive/blogs/tom/chat-question-memory-limits-for-32-bit-and-64-bit-processes ，所以 70% 的失败听起来是正确的。

所以现在我正在考虑将文件拆分为更易于管理的小块。 但是，如何在不创建单独文件的情况下执行此操作？ 有没有办法每次将 100MB 加载到 memory（尊重 XML 节点结尾）或者每次读取 X 个 XML 节点？

当我在谷歌上搜索“从网络服务器读取大型 XML 文件而不拆分成较小的块”时，我除了文件拆分工具之外什么也得不到。

更新 1

根据 Lex Li 的建议，我搜索并找到了这个教程： https://learn.microsoft.com/en-us/do.net/standard/linq/perform-streaming-transform-large-xml-documents

所以我翻译了代码，它按照教程工作：

Private Shared Iterator Function StreamCustomerItem(ByVal uri As String) As IEnumerable(Of XElement)
    Using reader As XmlReader = XmlReader.Create(uri)
        Dim name As XElement = Nothing
        Dim item As XElement = Nothing
        reader.MoveToContent()

        While reader.Read()

            If reader.NodeType = XmlNodeType.Element AndAlso reader.Name = "Customer" Then

                While reader.Read()

                    If reader.NodeType = XmlNodeType.Element AndAlso reader.Name = "Name" Then
                        name = TryCast(XElement.ReadFrom(reader), XElement)
                        Exit While
                    End If
                End While

                While reader.Read()
                    If reader.NodeType = XmlNodeType.EndElement Then Exit While

                    If reader.NodeType = XmlNodeType.Element AndAlso reader.Name = "Item" Then
                        item = TryCast(XElement.ReadFrom(reader), XElement)

                        If item IsNot Nothing Then
                            Dim tempRoot As XElement = New XElement("Root", New XElement(name))
                            tempRoot.Add(item)
                            Yield item
                        End If
                    End If
                End While
            End If
        End While
    End Using
End Function

Private Shared Sub Main()
    Dim srcTree As IEnumerable(Of XElement) = From el In StreamCustomerItem("https://www.example.com/source.xml") Select New XElement("Item", New XElement("Customer", CStr(el.Parent.Element("Name"))), New XElement(el.Element("Key")))
    Dim xws As XmlWriterSettings = New XmlWriterSettings()
    xws.OmitXmlDeclaration = True
    xws.Indent = True

    Using xw As XmlWriter = XmlWriter.Create(HttpContext.Current.Server.MapPath("files\") + "Output.xml", xws)
        xw.WriteStartElement("Root")

        For Each el As XElement In srcTree
            el.WriteTo(xw)
        Next

        xw.WriteEndElement()
    End Using

End Sub

上面的示例将 source.xml 转换为 output.xml，但我只想按原样读取product节点（无需转换），并以读取单个节点的方式处理大型 XML 文件。

我试图重写它，以便它像结构一样从我的 XML 中提取值。 首先，我尝试从我的 xml 文件中准备一些东西，如下所示：

Private Shared Iterator Function StreamCustomerItem(ByVal uri As String) As IEnumerable(Of XElement)
    Using reader As XmlReader = XmlReader.Create(uri)
        Dim name As XElement = Nothing
        Dim item As XElement = Nothing
        reader.MoveToContent()

        While reader.Read()
            If reader.NodeType = XmlNodeType.Element AndAlso reader.Name = "Id" Then
                name = TryCast(XElement.ReadFrom(reader), XElement)
                item = TryCast(XElement.ReadFrom(reader), XElement)

                If item IsNot Nothing Then
                    Dim tempRoot As XElement = New XElement("Root", New XElement(name))
                    tempRoot.Add(item)
                    Yield item
                End If

                Exit While
            End If
        End While
    End Using
End Function

Private Shared Sub Main()
    Dim srcTree As IEnumerable(Of XElement)

    srcTree = From el In StreamCustomerItem("https://www.example.com/mysource.xml")
              Select New XElement("product", New XElement("product", CStr(el.Parent.Element("Id"))))


    Dim xws As XmlWriterSettings = New XmlWriterSettings()
    xws.OmitXmlDeclaration = True
    xws.Indent = True

    Using xw As XmlWriter = XmlWriter.Create(HttpContext.Current.Server.MapPath("files\") + "Output.xml", xws)
        xw.WriteStartElement("Root")

        For Each el As XElement In srcTree
            el.WriteTo(xw)
        Next

        xw.WriteEndElement()
    End Using


End Sub

不过，这只是将<Root />写入我的 output.xml

我的资源.xml

<?xml version="1.0" encoding="UTF-8" ?>
<products>
    <product>
        <Id>
            <![CDATA[122854]]>
        </Id>
        <Type>
            <![CDATA[restaurant]]>
        </Type>
        <features>
            <wifi>
                <![CDATA[included]]>
            </wifi>
        </features>         
    </product>
</products>

所以总结一下我的问题：如何在不将完整文件加载到 memory 的情况下从“mysource.xml”中按原样读取单个product节点？

更新 1

Private Shared Iterator Function StreamCustomerItem(ByVal uri As String) As IEnumerable(Of XElement)
    Using reader As XmlReader = XmlReader.Create(uri)
        Dim name As XElement = Nothing
        Dim item As XElement = Nothing
        reader.MoveToContent()

        While Not reader.EOF
            If reader.NodeType = XmlNodeType.Element AndAlso reader.Name = "product" Then
                Dim el As XElement = TryCast(XElement.ReadFrom(reader), XElement)
                If el IsNot Nothing Then Yield el
            Else
                reader.Read()
            End If
        End While
    End Using
End Function            


Private Shared Sub Main()
    Dim element As IEnumerable(Of XmlElement) = From el In StreamCustomerItem("source.xml") Select el

    For Each str As XmlElement In grandChildData
    'here loop through `product` element
        Console.WriteLine(str)
    Next
End Sub 

我通过 Onion Share 的完整测试文件（使用 TOR 浏览器下载）：

http://jkntfybog2s5cc754sn7mujvyaawdqxd4q5imss66x3hsos34rrbjrid.onion密钥：YLTDQSDHTBWGDGQ6FIADTN2K7GFOFT5R7SFKWKTDER3WETD7EMKA

Answer 1

重要的是确保你永远不会加载整个文件，而是“流”（一般意义上，stream 字节、字符、xml 个节点等）从端到端（即：这里的服务器到客户端）的所有内容。

对于.network 字节，这意味着您必须使用原始的Stream object。

对于 Xml 节点，这意味着您可以使用XmlReader （不是XmlDocument，它从流中加载完整文档 object model）。 在这种情况下，您可以使用XmlTextReader ，它“表示提供对 XML 数据的快速、非缓存、仅向前访问的阅读器” 。

这是执行此操作的一段 C# 代码（可以轻松转换为 VB.NET），但仍然可以使用 XmlReader 方法ReadInnerXml和/或ReadOuterXml为大 Gb 文件中的每个产品构建一个中间小 Xml 文档：

var req = (HttpWebRequest)WebRequest.Create("https://www.yourserver.com/spotahome_1.xml");
using (var resp = req.GetResponse())
{
    using (var stream = resp.GetResponseStream())
    {
        using (var xml = new XmlTextReader(stream))
        {
            var count = 0;
            while (xml.Read())
            {
                switch (xml.NodeType)
                {
                    case XmlNodeType.Element:
                        if (xml.Name == "product")
                        {
                            // using XmlDocument is ok here since we know
                            // a product is not too big
                            // but we could continue with the reader too
                            var product = new XmlDocument();
                            product.LoadXml(xml.ReadOuterXml());
                            Console.WriteLine(count++);
                        }
                        break;
                }
            }
        }
    }
}

PS：理想情况下，您可以将异步/等待代码与异步对应方法ReadInnerXmlAsync / ReadOuterXmlAsync ，但这是另一回事并且易于设置。

Answer 2

这有点老派的方法，但我通常会跟踪我在 XML 文件中的 XPATH 地址，然后使用 XPATH 来解决问题。

Imports System.Xml

Module Program
  Sub Main(args As String())
    Dim filename = "C:\Junk\Junk.xml"    
    Using reader As XmlReader = XmlReader.Create(filename)
      Dim xpath = ""
      Dim currentProduct As Product = Nothing
      Do While reader.Read
        Select Case reader.NodeType
          Case XmlNodeType.Element
            If Not reader.IsEmptyElement Then
              xpath &= "/" & reader.Name
            End If
            If xpath = "/products/product" Then
              If currentProduct IsNot Nothing Then
                Console.WriteLine(currentProduct)
              End If
              currentProduct = New Product
            End If
          Case XmlNodeType.EndElement
            xpath = xpath.Substring(0, xpath.LastIndexOf("/"))
          Case XmlNodeType.CDATA
            Select Case xpath
              Case "/products/product/Id"
                currentProduct.Id = reader.Value
              Case "/products/product/Type"
                currentProduct.ProductType = reader.Value
              Case "/products/product/features/wifi"
                If reader.Value = "included" Then
                  currentProduct.Wifi = True
                End If
            End Select
        End Select
      Loop
      If currentProduct IsNot Nothing Then
        Console.WriteLine(currentProduct)
      End If
    End Using
    Console.WriteLine("FINISHED")
  End Sub

  Class Product
    Public Property Id As String
    Public Property ProductType As String
    Public Property Wifi As Boolean
    Public Overrides Function ToString() As String
      Return $"{Id}-{ProductType}-{Wifi}"
    End Function    
  End Class
End Module

Answer 3

您是否已从 Microsoft 签出此文档？ https://docs.microsoft.com/en-us/dotnet/standard/linq/stream-xml-fragments-xmlreader

我有一个类似的问题，但是阅读了一个大的 json。 我在那里所做的是阅读代表产品开始的令牌并遍历这些令牌。 这样您就不会在 memory 中加载整个文件。 我相信同样的解决方案也可以在 XML 中实现。

希望能帮助到你。