将初始（批量）数据导入RESTful系统的最佳实践是什么？

Question

您如何看待一种干净有效的方法来初始填充数据存储，该数据存储是RESTful分布式系统体系结构的一部分？

我们已经有用于大量导入的POST方法，该方法采用XML提要，解析，验证和导入数据。 因此，一种可能性将要求客户端针对我们的REST接口进行POST（如果我们遇到请求超时问题的话，可能是成块的）。

数据存储本身基于MongoDB，因此，另一方面，您还可以考虑进行低级批量导入，该导入将压缩后的数据文件解压缩并直接将JSON数据导入数据库（当然，规避我们的业务逻辑以验证要导入的数据）。

您有什么意见和建议，是否有任何REST模式可针对此问题提供建议？

Answer 1

不知道更多细节，我想您最终确定了它。 我将数据分成多个块，然后运行一个程序以读取这些块之一，并将此数据发布到您的http接口。

进行导入的脚本/程序只能使用足够小的块来避免超时，并且应该知道其成功与否。 如果片段超时或失败，则应确保知道导入的位置，以便可以从同一位置重试。

话虽如此，如果您的系统允许多次导入同一件事而不会产生任何后果（请参阅http://en.wikipedia.org/wiki/Idempotence ），那么这也很好，因此，如果您必须完全重新发送1段，您宁静的后端将能够接受它，而不会重复数据。

如果运行良好，您甚至可以同时运行具有多个块的导入程序，以使其并行且更快。 （只要您的http / restful后端可以处理它）