內存映射數據庫

Question

我有8 TB的數據，由約5000個小型元素的數組組成（每個元素不足100個字節）。 我需要將這些數組的部分（一次幾十個）加載到內存中，以便盡快在算法中使用。 內存映射文件是否適合這種用途，如果不是，我還應該使用其他什么？

Answer 1

根據您的要求，我絕對會使用內存映射文件。 這幾乎就是它們的用途。 而且，由於內存映射文件消耗的物理資源很少，因此與其他方法相比，您的超大文件對系統的影響很小，尤其是因為可以在執行I / O之前將較小的視圖映射到地址空間（例如，元素）。 另一個很大的好處是它們為您提供了最簡單的工作環境。 您可以（大部分）僅將數據視為較大的內存地址空間，而讓Windows擔心I / O。 顯然，您需要構建鎖定機制來處理多個線程，但是我敢肯定您知道這一點。