在C＃中将大型数据集流式传输为较小的块

Question

我经常在ac＃控制台应用程序中使用大型数据集（一百万行，其中约30列为奇数列），这些数据集需要按顺序进行处理，这些数据集首先是从远程数据库中提取的，我无法以较小的块来提取它们，因为通过电线的往返行程将太昂贵。

从本地将它们分成较小的块并一次读取10000条记录方面，我有什么选择？

我的RAM不足2 GB左右，是否有一种有效的方法可以在本地分页这些数据集？

编辑：序列化DataTable或List并将其存储在本地NoSQL存储库中，然后一次获取10000条记录是否有意义？

Answer 1

如果您使用的是Web应用程序，则可以启用数据源控件的“ EnablePaging”功能。