如何在Go中解组包含脏HTML的XML

Question

我有一些要解组的XML，但它在我什至不关心的字段中包含脏HTML。 我在这里发布了一个示例： http : //play.golang.org/p/caKCAYyXX2

有没有办法让我告诉解码器跳过或忽略这些错误？ 我尝试制作文档中所述的非严格解码器，但无法获得AutoClose或Entity值的任何组合来使此工作正常进行。 我应该提到的是，这种XML来自我无法控制的第三方，而且内容总是可变的，我不确定要编译要跳过的静态元素列表是否可行。 使用xml:"-"标签向结构添加Description没有区别。

我能够使用Python 2.7进行解析，所以我希望它可以在Go中使用-尽管我更喜欢在自己的用例中使用Go :)-我正在为此使用Google的AppEngine，因此解决方案必须是在本机Go中使用，而不依赖外部C库。

相关代码：

var XMLData = []byte(`<?xml version="1.0" encoding="UTF-8"?>
<soapenv:Envelope xmlns:soapenv="http://schemas.xmlsoap.org/soap/envelope/" xmlns:xsd="http://www.w3.org/2001/XMLSchema" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance">
 <soapenv:Body>
  <Container>
   <Timestamp>2014-01-15T21:07:07.217Z</Timestamp>
   <Item>
    <Description>
<table  width="100%" border=0 ><tr><td><table width="100%"><tr><td><!-- Begin Description -->
<TABLE cellSpacing=27 cellPadding=0 width="100%"><TBODY><TR><TD vAlign=top><P align=center>
<TABLE cellPadding=15 width="86%" border=1><TBODY><TR><TD><H3><P>
<H2><H2><H2><H2><H2><H2><H2><H2><H2><H2><H2><H2><H><H2><H2>


<IMG SRC=http://www.REMOVED.com/simage/j6x516.jpg>
<BR><BR>
<IMG SRC=http://www.REMOVED.com/simage/j6x517.jpg>

    </Description>
   </Item>
  <Container>
 </soapenv:Body>
</soapenv:Envelope>`)

type Data struct {
    Timestamp string `xml:"Body>Container>Timestamp"`
}

var o Data
decoder := xml.NewDecoder(bytes.NewBuffer(XMLData))
decoder.Strict = false
decoder.AutoClose = xml.HTMLAutoClose
decoder.Entity = xml.HTMLEntity
if err := decoder.Decode(&o); err != nil {
    fmt.Println("Error: ", err)
} else {
    fmt.Println("Timestamp: ", o.Timestamp)
}

结果： Error: XML syntax error on line 14: expected /> in element

谢谢。

Answer 1

作为xml软件包的替代方法，如果您安装了libxml2 ，则可以使用Gokogiri在Go中利用其解析灵活性。

例如，使用XPath进行评估：

package main

import (
    "fmt"
    "github.com/moovweb/gokogiri"
    "github.com/moovweb/gokogiri/xml"
    "github.com/moovweb/gokogiri/xpath"
)

func main() {
    var XMLData = []byte(`<?xml version="1.0" encoding="UTF-8"?>
<soapenv:Envelope xmlns:soapenv="http://schemas.xmlsoap.org/soap/envelope/" xmlns:xsd="http://www.w3.org/2001/XMLSchema" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance">
<soapenv:Body>
<Container>
<Timestamp>2014-01-15T21:07:07.217Z</Timestamp>
<Item>
    <Description>
<table  width="100%" border=0 ><tr><td><table width="100%"><tr><td><!-- Begin Description -->
<TABLE cellSpacing=27 cellPadding=0 width="100%"><TBODY><TR><TD vAlign=top><P align=center>
<TABLE cellPadding=15 width="86%" border=1><TBODY><TR><TD><H3><P>
<H2><H2><H2><H2><H2><H2><H2><H2><H2><H2><H2><H2><H><H2><H2>


<IMG SRC=http://www.REMOVED.com/simage/j6x516.jpg>
<BR><BR>
<IMG SRC=http://www.REMOVED.com/simage/j6x517.jpg>

    </Description>
</Item>
<Container>
</soapenv:Body>
</soapenv:Envelope>`)

    doc, err := gokogiri.ParseXml(XMLData)

    if err != nil {
        fmt.Printf("XML document could not be parsed")
        return
    }

    nxpath := xpath.NewXPath(doc.DocPtr())
    nodes, err := nxpath.Evaluate(doc.DocPtr(), xpath.Compile("//Timestamp"))

    if err != nil {
        fmt.Printf("XPath could not be evaluated")
        return
    }

    if len(nodes) == 0 {
        fmt.Printf("Elements matching XPath not found")
        return

    }
    timestamp := xml.NewNode(nodes[0], doc).InnerHtml()

    fmt.Printf("%s", timestamp) // "2014-01-15T21:07:07.217Z"
}

这适用于OS X 10.9.1上的Go v1.2。 Gokogiri软件包还包含一个CSS选择器转换器，但我从未使用过它，也无法为其提供担保。

Answer 2

您的解码器代码很好（您实际上可以删除解码器decoder.AutoClose = xml.HTMLAutoClose行）。 问题在于img标签在src属性周围没有引号。 看到这个操场 。

Answer 3

考虑使用go.net/html包-对我来说，它解析您的示例数据就可以了。

据我所知，此程序包的问题在于，它会向您返回您应该遍历的“节点”（每个HTML元素一个）的层次结构。 我的意思是，至少在乍一看时，不要破坏结构。 因此，使用html-query或goquery类的东西可能会更好，这应该允许您使用（） goquery （）。called（）。fluent（）。style（）查询已解析的DOM。

go-html-transform是另一个可能的选择。

换句话说，我的主要思想是将您要处理的整个SOAP答复都视为HTML，而不是XML，因为这就是实际情况，并且希望HTML解析器能够解决该问题，这归功于HTML的格式规则较为宽松因此，解析器的权限更高。