如何合并大型csv文件并将其转换为一个xml文件

Question

我对使用C＃编程非常陌生，并且在将多个csv文件中的许多数据处理为一个xml文件时遇到一些问题。

我拥有的csv文件如下所示：

"ID","NODE","PROCESS_STATE","TIME_STAMP","PREV_TIME_STAMP","CALCULATED"
206609474,2175,47,31.03.2015 00:01:25,31.03.2015 00:01:24,1
206609475,2175,47,31.03.2015 00:02:25,31.03.2015 00:01:25,1
206609476,2175,47,31.03.2015 00:03:25,31.03.2015 00:02:25,1

第一步，我删除对我的计算不重要的所有条目（例如，删除所有不包含特定日期的文件），然后再次保存每个文件。

第二步是将所有准备好的文件（〜100个）合并到一个大的csv文件中。

到这里为止，一切工作都非常好而且很快。

最后一步是将csv文件转换为以下格式的xml文件：

<data-set>   
  <PDA_DATA>
    <ID>484261933</ID>
    <NODE>2190</NODE>
    <PROCESS_STATE>18</PROCESS_STATE>
    <PREV_TIME_STAMP>05.05.2016 22:53:41</PREV_TIME_STAMP>
  </PDA_DATA>   
  <PDA_DATA>
    <ID>484261935</ID>
    <NODE>2190</NODE>
    <PROCESS_STATE>47</PROCESS_STATE>
    <PREV_TIME_STAMP>06.05.2016 00:44:17</PREV_TIME_STAMP>   
  </PDA_DATA>
</data-set>

如您所见，我删除了元素（“ TIME_STAMP”，“ CALCULATED”），并且还删除了所有条目，其中条目“ TIME_STAMP”等于“ PREV_TIME_STAMP”。 我正在使用以下代码进行此操作：

string[] csvlines = File.ReadAllLines("All_Machines.csv");

XElement xml = new XElement("data-set",
    from str in csvlines
    let columns = str.Split(',')
    select new XElement("PDA_DATA",
        new XElement("ID", columns[0]),
        new XElement("NODE", columns[2]),
        new XElement("PROCESS_STATE", columns[5]),
        new XElement("TIME_STAMP", columns[6]),
        new XElement("PREV_TIME_STAMP", columns[9]),
        new XElement("CALCULATED", columns[10])));

// Remove unneccessray elements

xml.Elements("PDA_DATA")
    .Where(e => 
        e.Element("TIME_STAMP").Value.Equals(e.Element("PREV_TIME_STAMP").Value))
            .Remove();   // Remove entries with duration = 0

xml.Elements("PDA_DATA").Elements("TIME_STAMP").Remove();
xml.Elements("PDA_DATA").Elements("PREV_PROCESS_STATE").Remove();
xml.Elements("PDA_DATA").Elements("CALCULATED").Remove();
xml.Save("All_Machines.xml");

这是我的问题。 如果我排除了删除其中TimeStamp等于PrevTimeStamp的Elements的行，那么一切都将非常好且快速。 但是，使用此命令会花费很多时间，并且仅适用于小型csv文件。

我对资源有效的编程一无所知，所以如果你们中的某人可以告诉我问题出在哪里或如何做得更好，我将感到非常高兴。

Answer 1

这样可以更快地完成工作：

string[] csvlines = File.ReadAllLines("All_Machines.csv");

    XElement xml = new XElement("data-set",
        from str in csvlines
        let columns = str.Split(',')
        select new XElement("PDA_DATA",
            new XElement("ID", columns[0]),
            new XElement("NODE", columns[1]),
            new XElement("PROCESS_STATE", columns[2]),
            new XElement("TIME_STAMP", columns[3]),
            new XElement("PREV_TIME_STAMP", columns[4]),
            new XElement("CALCULATED", columns[5]),
                             )   
                            );

    // Remove unneccessray elements

        XElement xml2 = new XElement("data-set",                                       
                from el in xml.Elements() 
                where (el.Element("TIME_STAMP").Value != (el.Element("PREV_TIME_STAMP").Value))
                select el
                );

       xml2.Elements("PDA_DATA").Elements("TIME_STAMP").Remove();
       xml2.Elements("PDA_DATA").Elements("PREV_PROCESS_STATE").Remove();
       xml2.Elements("PDA_DATA").Elements("CALCULATED").Remove();
       xml2.Save("All_Machines.xml");

对于超过150 MB的csv文件大小仍然不完美。还有更好的建议吗？

Answer 2

借助Cinchoo ETL （一种开放源代码框架），您只需几行代码即可快速读取和写入CSV / Xml大文件，如下所示

using (var csv = new ChoCSVReader("NodeData.csv").WithFirstLineHeader(true)
    .WithFields("ID", "NODE", "PROCESS_STATE", "PREV_TIME_STAMP"))
{
    using (var xml = new ChoXmlWriter("NodeData.xml").WithXPath("data-set/PDA_DATA"))
        xml.Write(csv);
}

输出xml看起来像

<data-set>
  <PDA_DATA>
    <ID>206609474</ID>
    <NODE>2175</NODE>
    <PROCESS_STATE>47</PROCESS_STATE>
    <PREV_TIME_STAMP>31.03.2015 00:01:25</PREV_TIME_STAMP>
  </PDA_DATA>
  <PDA_DATA>
    <ID>206609475</ID>
    <NODE>2175</NODE>
    <PROCESS_STATE>47</PROCESS_STATE>
    <PREV_TIME_STAMP>31.03.2015 00:02:25</PREV_TIME_STAMP>
  </PDA_DATA>
  <PDA_DATA>
    <ID>206609476</ID>
    <NODE>2175</NODE>
    <PROCESS_STATE>47</PROCESS_STATE>
    <PREV_TIME_STAMP>31.03.2015 00:03:25</PREV_TIME_STAMP>
  </PDA_DATA>
</data-set>

披露：我是这个图书馆的作者