什么是存儲大數據的最佳實踐

Question

我正在一個項目中，我需要從用戶給定的URL同步RSS feed。 然后在用戶頁面的CSS中顯示供稿內容。 有涉及移動站點，所以當用戶出於性能原因打開移動站點時，我不想一次又一次同步。 我需要將內容保留在一些存儲中。 什么是保留如此大數據的最佳存儲（根據RSS feed內容，數據可能很大）。 我正在使用MySQL DBMS。 我可以將這些數據存儲在數據庫中，還是應該采用文件系統或其他一些存儲介質來存儲這些類型的數據。 最佳做法是什么，因為用戶數據庫可能太大。

Answer 1

如果使用數據庫存儲文件比使用文件系統更方便，可以使用。 兩種解決方案都不絕對優於另一種，但是MySQL提供了一些優於文件系統的優點：

• 如果您有大量文件，則在使用文件系統時，需要將它們分成單獨的目錄。
• 如果需要負載平衡，MySQL允許復制到多個服務器。
• 當您可以使用與獲取其他結果相同的查詢直接從數據庫獲取文件時，則不需要單獨的文件檢索代碼。

對於大量文件，您可能需要研究分布式文件系統。 我曾經使用過並且喜歡MogileFS ，但是還有很多其他可用的。 這些使您可以在任意數量的服務器上分發文件，並且比其他解決方案具有更高的容錯能力。