什么是保存大量顺序数据的最佳方法

Question

我尝试过但找不到类似的帖子，如果我错过了一个帖子并在此处重复了，我深表歉意。

我需要找到一种最佳的机制来保存数据以满足我的以下要求，并想得到您的意见。

主要要求

我们从电子传感器的集合中收到大量数据。 数据量约为每秒50,000条记录，每条记录包含一个浮点值和一个日期/时间戳。

另外，我们需要将该数据保存至少5年并对其进行处理以进行预测。

当前，我们正在使用MS Sql服务器，但我们非常热衷于探索NO SQL等新领域。

我们可以在这些方面保持灵活

• 我们不需要大量的一致性，因为数据的结构非常简单
• 保存时我们可以通过代码管理原子性（如果需要）

我们需要数据库端在这些方面可靠

• 快速检索-这样就不会为繁重的预测算法增加很多时间
• 保存时的可靠性-我们的中间层将不得不高速抛出大量数据，并希望数据库可以保存所有数据。
• 数据需要安全（耐用性）

我一直在阅读，我开始怀疑我们是否可以同时使用MS SQL和NO SQL。 我在想的是继续使用MS SQL定期使用数据，并使用NO SQL解决方案进行长期存储/处理。

您可能已经意识到，现在我对No SQL还是很陌生。

您认为在保持性能和准确性的同时存储大量数据的最佳方法是什么？

如果您能对此有所了解，我们将不胜感激，以便我们为您提供有效的解决方案。

我们也在考虑消除几乎相同的 ，彼此接近的记录（例如，在3微秒内到达的45.9344563V，45.9344565V，45.9344562V-我们将忽略前两个，取第三个）。 你们有没有解决过类似的问题，使用过任何算法？

我不是在这里寻求完整的解决方案。 只是尝试与其他专业人员进行对话...请发表您的意见。

非常感谢您的宝贵时间，我们非常感谢您的意见！

Answer 1

NoSQL非常酷，可以很好地处理您的需求之一（快速存储和非关系检索）。 但是，NoSQL的问题最终变成了当您开始尝试使用关系型数据时该怎么办，而它实际上并没有RDBMS那样好。

在RDBMS中存储大量数据时，可以使用多种策略来处理大量数据。 我想到的最明显的一种方法是使用分区。 您可以在此处阅读有关SQL Server的更多信息： https : //msdn.microsoft.com/zh-cn/library/ms190787.aspx

您可能还需要考虑创建作业，以将不常访问的历史数据定期移动到单独的磁盘上。 这可能使您能够使用SQL Server 2014中的一项新功能（称为内存OLTP）来处理更频繁使用的最新数据（假设它的容量低于250gb）： https ://msdn.microsoft.com/zh-cn/library/dn133186.aspx