使用Grep / Sed / Awk拆分XML文件？

Question

试图找出最佳方法（通过使用我在Grep / Sed / Awk中所知的方法）基于单个字符串（键？）分割XML文件。 我有一个XML文件，该文件是我所有当前FAQ条目的SQL转储，因此它包含一个条目ID，然后是一个相当大的HTML格式的文档。 我希望将这些条目分开，以便我可以轻松地将它们弹出到编辑器中，并清理格式以导入到新的KB / FAQ系统中。 这是我的数据的示例：

 <article id="3">
  <language>en</language>
  <category>Category Name</category>
  <keywords>Keywords, by, comma</keywords>
  <question>Question?</question>
  <answer>HTML Formatting</answer>
  <author>Author</author>
  <data>2010-05-13 09:32</data>
 </article>

XML文件包含我以这种格式背对背的每一篇知识库文章。 我对bash感到满意，我只是不知道如何根据搜索将其拆分为多个文件。

干杯，

粘土

Answer 1

使用XPath提取文章

如果文件是有效的XML，则可以使用xgrep或XMLStarlet之类的实用程序来为XPath表达式解析文件。 例如，使用xgrep：

xgrep -x "//article[@id]" /tmp/foo

这可能就是您所需要的。 但是，它不会拆分文章。 它比使用正则表达式更可靠地提取XML的正确部分。

使用管道将文章节点拆分为文件

如果实际上需要将文章拆分为单独的文件，则可以执行以下操作：

xgrep -x "//article[@id]" /tmp/foo.rb |
ruby -ne 'BEGIN { counter=0 }
          counter += 1 if /<article/
          if /<article/ ... /<\/article/
            File.open("#{counter}.xml", "a") { |f| f.puts $_ }
          end'

显然，您可以使用Ruby XML库完成全部操作，但是我更喜欢将此类问题视为shell管道。 你的旅费可能会改变。

另外，请注意，上面的Ruby脚本将按顺序编号您的文章，而不是按文章ID。 如果您的XML中有重复的ID，则可能更可取。

带有XmlSimple的纯Ruby

好吧，好吧...我只是不能离开这个人。 首先，在上述管道中使用外部shell实用程序似乎是一个好主意，但是如果您仍然要使用Perl或Ruby，那么最好还是使用XmlSimple库。

• http://metacpan.org/pod/XML::Simple
• http://xml-simple.rubyforge.org/

下面的Ruby脚本比管道版本长一点，但是却提供了更多的控制和灵活性。 以此为出发点，考虑您拥有的所有可能性：

#!/usr/bin/env ruby

require 'xmlsimple'

counter = 0
node_name = 'article'
xml = XmlSimple.xml_in '/tmp/foo'

xml[node_name].uniq.each do |node|
  counter = sprintf("%03d", counter.next)
  XmlSimple.xml_out(node,
                    RootName: node_name,
                    OutputFile: "/tmp/#{counter}.xml")
end

Answer 2

cat file.xml | \
perl -p -i -e 'open(F, ">", ($1).".xml") if /<article id="(\d+)"/; print F;' 

将根据文章的ID分割xml文件。 每个文章部分将存储在自己的文件中，其ID号为name。 即使是在大型文件上，它的运行速度也非常快（ sed ， awk等解决方案在这种情况下速度很慢）。

Answer 3

这是awk的一个简单想法：

每当您打到带有商品开始标签的行时，将计数器变量加1。 然后，对每一行进行系统调用，例如“ echo $ 0 >> file $ COUNTER”。 这应该很容易实现