數百萬條目的數據庫設計

Question

假設有一個消息傳遞系統。 該系統具有數以百萬計的條目要發送和得到報告，並且計數每小時增長10萬。 2個服務訪問db，一個是發送者，一個是報告者。 那么，為了獲得最佳性能，您會提出什么建議？ 數據庫如何設計？

您還建議在mysql，postgresql，mongodb等中使用什么開源RDBMS來填充此高容量數據庫？

謝謝

Answer 1

除了關於預期數據量的一些注釋之外，您實際上沒有提供太多有關需求的信息。 簡單地存儲大量數據沒有真正的內在價值，訪問具有真正價值的數據的能力就在於此。 因此，了解您期望如何從數據庫中檢索信息比要存儲多少數據更為重要。

這些消息是否確實需要像MongDB這樣的文檔數據庫，或者它們的結構是否足以使用Postgresql或MySQL這樣的直接RDBMS。 您需要全文搜索功能嗎？ 針對此消息數據執行多久一次以及執行哪種類型的查詢？ 您是否要編寫自己的Twitter？

如果這些是您當前的數據量，請考慮使用數據庫復制來增強彈性。 考慮對消息表進行分區，也許按發布日期進行分區。 按照Konerak的建議使用主/從（甚至是多主/多從）。 查看為較舊的消息創建歸檔表的可能性，這些消息不太可能被查詢，但是仍然可用。 看看像Oracle這樣的商業數據庫可以為您提供什么。 找專業人員來幫助調整數據庫的性能，而不是簡單地在SO之類的網站上尋求免費建議。

還要考慮您的硬件...多個負載平衡的服務器來幫助處理卷（我們有14台專用服務器僅用於接收新消息，而三台高性能服務器已調整用於查詢數據）。