Azure 批量輸出文件從所有計算節點上傳

Question

我有一個基於 mpi 的任務，其中每個線程在 Azure-Batch 上的每個計算節點的“工作目錄”上寫入文件。

該任務配置為將結果（文件）上傳到我的存儲帳戶。

但只有主節點上的文件被上傳到存儲。

我想知道，

如何讓所有節點將文件上傳到我的存儲帳戶？

是否有任何中間方法可以將文件從從節點復制到文件到主節點並上傳到存儲帳戶？

Answer 1

目前，這是不可能的。 你有幾個選擇：

1. 使用諸如gather/bcast/等的MPI原語。 將相關數據收集到可以由主任務上傳的文件中。
2. 使用來自客戶端的 ComputeNode 的 GetFile 從各個節點檢索文件。 您需要編寫邏輯來自動執行此操作並上傳到您的存儲帳戶。
3. 使用虛擬文件系統掛載到 Azure Blob 或文件存儲，並直接寫入這些掛載點下的文件。