MPI大數據處理

Question

我的MPI應用程序將讀取一系列圖像以構建3-D數據。 這是非常大的數據（大約4 GB）。 我不想將數據分發給每個工人。 我不知道該怎么辦。 共享內存可能是一種解決方案。 但是如何通過使用MPI使用共享內存。 我對此進行了很多搜索，沒有發現任何好處。 有人可以給我一些建議或使用MPI進行大數據處理的示例（順便說一句。我正在使用Open MPI實現）。 非常感謝您的大力幫助。

Answer 1

您正在尋找的是添加到MPI-2的單面通信。 它在OpenMPI中可用。 對於介紹，您可以查看http://www.linux-mag.com/id/1793/ 。

原理是創建一個窗口（共享內存區域），然后可以從該窗口獲取或放置數據。 MPI應該對其進行優化以使用RMA（如果可用）。 還有諸如籬笆之類的機制可確保跨進程同步。