.net的大型数据集的数据导入/导出

Question

有使用.net进行大型集合（在这种情况下是从数据库）导入和导出的经验。

使用数据库导出本身是不可能的，因为支持多个数据库后端，而我需要使用它来实现一种与平台无关的导出/导入。

这里的问题是XmlSerializer或DataContractSerializer类一次读取所有数据以进行反序列化-但是由于数据集可能变得非常大，因此这是不可行的。 是否有基于现有序列化基础结构但支持迭代读取文件的解决方案？

谢谢

Answer 1

看一下FileHelpers 。 我过去使用过该库，并在几秒钟内读取和验证了（通过导入类成员的属性）约25,000条记录。