什么是保存大量順序數據的最佳方法

Question

我嘗試過但找不到類似的帖子，如果我錯過了一個帖子並在此處重復了，我深表歉意。

我需要找到一種最佳的機制來保存數據以滿足我的以下要求，並想得到您的意見。

主要要求

我們從電子傳感器的集合中收到大量數據。 數據量約為每秒50,000條記錄，每條記錄包含一個浮點值和一個日期/時間戳。

另外，我們需要將該數據保存至少5年並對其進行處理以進行預測。

當前，我們正在使用MS Sql服務器，但我們非常熱衷於探索NO SQL等新領域。

我們可以在這些方面保持靈活

• 我們不需要大量的一致性，因為數據的結構非常簡單
• 保存時我們可以通過代碼管理原子性（如果需要）

我們需要數據庫端在這些方面可靠

• 快速檢索-這樣就不會為繁重的預測算法增加很多時間
• 保存時的可靠性-我們的中間層將不得不高速拋出大量數據，並希望數據庫可以保存所有數據。
• 數據需要安全（耐用性）

我一直在閱讀，我開始懷疑我們是否可以同時使用MS SQL和NO SQL。 我在想的是繼續使用MS SQL定期使用數據，並使用NO SQL解決方案進行長期存儲/處理。

您可能已經意識到，現在我對No SQL還是很陌生。

您認為在保持性能和准確性的同時存儲大量數據的最佳方法是什么？

如果您能對此有所了解，我們將不勝感激，以便我們為您提供有效的解決方案。

我們也在考慮消除幾乎相同的 ，彼此接近的記錄（例如，在3微秒內到達的45.9344563V，45.9344565V，45.9344562V-我們將忽略前兩個，取第三個）。 你們有沒有解決過類似的問題，使用過任何算法？

我不是在這里尋求完整的解決方案。 只是嘗試與其他專業人員進行對話...請發表您的意見。

非常感謝您的寶貴時間，我們非常感謝您的意見！

Answer 1

NoSQL非常酷，可以很好地處理您的需求之一（快速存儲和非關系檢索）。 但是，NoSQL的問題最終變成了當您開始嘗試使用關系型數據時該怎么辦，而它實際上並沒有RDBMS那樣好。

在RDBMS中存儲大量數據時，可以使用多種策略來處理大量數據。 我想到的最明顯的一種方法是使用分區。 您可以在此處閱讀有關SQL Server的更多信息： https : //msdn.microsoft.com/zh-cn/library/ms190787.aspx

您可能還需要考慮創建作業，以將不常訪問的歷史數據定期移動到單獨的磁盤上。 這可能使您能夠使用SQL Server 2014中的一項新功能（稱為內存OLTP）來處理更頻繁使用的最新數據（假設它的容量低於250gb）： https ://msdn.microsoft.com/zh-cn/library/dn133186.aspx