通过API导入大数据

Question

我正在尝试开发一个系统，我将通过提供的API将我的数据库与3方数据库同步。 API具有我们可以提供From-Date和To-Date的格式

问题

1. 没有API只给我修改过的记录。
2. 数据太大（平均每天1000条记录）
3. 需要一个调度程序，以便所有记录自动更新
4. 我还需要跟踪修改后的记录（这是最大的问题，因为我无法通过修改日期获取它们）

注意：根据之前的要求，我已经开发了一个系统，我可以在其中指定记录的日期和日期更新（使用GUI完成，没有使用ajax）。 即使我要求1天的记录，系统也会出现超时错误。

注2：我真的不应该说，但客户端太严格（DUMB）;（他只需要解决方案别的什么都不会做

Answer 1

假设数据不需要“新鲜”，您是否可以编写一个进程来每小时/每晚运行那些数据并将其处理到数据库中？

显然，这只有在您确定以前的记录未更新时才有效吗？

API是否提供批次？

为什么选择使用Ajax的Web客户端来处理这些数据？ Windows /控制台应用程序会更适合吗？

Answer 2

如果数据太大而无法通过任何给定的查询进行检索，那么您只需通过ID进行检索即可。 找出一个好的大小（100条记录？250？），然后按该大小的组旋转系统中的每条记录。

你没有说你是在拉下数据，推高数据，还是两者兼而有之。 如果你只是把它拉下来，那么这是你能做的最好的，随着更多记录的增加，它会越来越慢。 如果您只是推动它，那么您可以跟踪“推送日期”。 如果是两者，你如何解决冲突？