C# 中的数据处理 - 最佳方法？

Question

我仍然在 C# 和 SQL Server 的学习曲线上，所以请原谅我的“绿色”。

这是我的场景：

我有一个包含 10,000 行的 EMPLOYEE 表。 这些员工中的每一个在 TRANSACTIONS 表中都有事务。

交易表有基本工资、代理津贴、加班时间等工资元素，也有工资扣除，如预扣、部分贷款（有利息）和储蓄（养老金、社保储蓄等）。

我需要检查每个员工的交易并计算税款、贷款未清余额、更新储蓄余额、将时间转换为付款/扣除额和其他一些东西。

此处理将为每个员工提供一组新的行，并带有句点标记（例如 2013-04 代表 2013 年 4 月）。 我需要将其存储在 HISTORY 表中以备将来参考。

处理整个 10,000 名员工表及其事务的最佳方法是什么？

有人告诉我，通过阅读器将整个表格拉入内存并不是一个好习惯，我同意。

我是否不断从数据库中提取员工，处理他们的交易并将历史提交到数据库？ 并拉下等等？

后台调用太多？

（EF 不是我的选择，仍在 ADO.NET 中执行原始 SQL）

我将不胜感激。

Answer 1

10000 行并不多。 如果没有一些巨大的 varchar 或 binary 列，内存可以轻松处理。 不要觉得完全被良好实践“规则”所束缚。

另一方面，考虑一个存储过程。 然后所有处理都将在服务器本地完成。

编辑：如果以上都不是一个选项，请尝试流式传输您的结果。 例如，在读取查询时将每一行保存在ConcurrentQueue或类似的东西中。 在执行查询之前，启动另一个线程或BackgroundWorker ，它会检查队列中是否有新项目并同时将结果保存在另一个SqlConnection 。 当查询完成且队列的Count 0 时，工作将完成。

Answer 2

使用ROW_NUMBER()出。 程序可以使用它来允许一次使用“x”行数基本上浏览大型表。 然后，您可以想象使用相同的方法来批量处理您的作业，例如，一次 1000 行。

有关更多信息，请参阅此链接。