MPI的Scatterv操作

Question

我不确定我是否正确理解MPI_Scatterv应该做什么。 我有79个项目可以分散数量可变的节点。 但是，当我使用MPI_Scatterv命令时，我得到了荒谬的数字（好像接收缓冲区的数组元素未初始化）。 这是相关的代码片段：

MPI_Init(&argc, &argv);
int id, procs;

MPI_Comm_rank(MPI_COMM_WORLD, &id);
MPI_Comm_size(MPI_COMM_WORLD, &procs);

//Assign each file a number and figure out how many files should be
//assigned to each node
int file_numbers[files.size()];
int send_counts[nodes] = {0}; 
int displacements[nodes] = {0};

for (int i = 0; i < files.size(); i++)
{
    file_numbers[i] = i;
    send_counts[i%nodes]++;
}   

//figure out the displacements
int sum = 0;
for (int i = 0; i < nodes; i++)
{
    displacements[i] = sum;
    sum += send_counts[i];
}   

//Create a receiving buffer
int *rec_buf = new int[79];

if (id == 0)
{
    MPI_Scatterv(&file_numbers, send_counts, displacements, MPI_INT, rec_buf, 79, MPI_INT, 0, MPI_COMM_WORLD);
}   

cout << "got here " << id << " checkpoint 1" << endl;
cout << id << ": " << rec_buf[0] << endl;
cout << "got here " << id << " checkpoint 2" << endl;

MPI_Barrier(MPI_COMM_WORLD); 

free(rec_buf);

MPI_Finalize();

当我运行该代码时，我收到以下输出：

got here 1 checkpoint 1
1: -1168572184
got here 1 checkpoint 2
got here 2 checkpoint 1
2: 804847848
got here 2 checkpoint 2
got here 3 checkpoint 1
3: 1364787432
got here 3 checkpoint 2
got here 4 checkpoint 1
4: 903413992
got here 4 checkpoint 2
got here 0 checkpoint 1
0: 0
got here 0 checkpoint 2

我阅读了OpenMPI的文档，并浏览了一些代码示例，但不确定所缺少的帮助有多大！

Answer 1

MPI最常见的错误之一再次发生：

if (id == 0)    // <---- PROBLEM
{
    MPI_Scatterv(&file_numbers, send_counts, displacements, MPI_INT,
                 rec_buf, 79, MPI_INT, 0, MPI_COMM_WORLD);
}   

MPI_SCATTERV是一个集体MPI操作 。 集体操作必须由指定通信器中的所有进程执行，以便成功完成。 您仅在等级0中执行它，这就是为什么只有它才能获得正确的值。

解决方案：删除条件if (...) 。

但是这里还有一个细微的错误。 由于集体操作不提供任何状态输出，因此MPI标准对发送到某个等级的元素数量与该等级愿意接收的元素数量进行严格匹配。 在您的情况下，接收方总是指定79元素，这些元素可能与send_counts中的相应数字不匹配。 您应该改用：

MPI_Scatterv(file_numbers, send_counts, displacements, MPI_INT,
             rec_buf, send_counts[id], MPI_INT,
             0, MPI_COMM_WORLD);

还要注意以下代码中的差异，这可能也是在此处发布问题时的错字：

MPI_Comm_size(MPI_COMM_WORLD, &procs);
                               ^^^^^
int send_counts[nodes] = {0};
                ^^^^^
int displacements[nodes] = {0};
                  ^^^^^

当您在procs变量中获得等级数时，其余的代码将使用nodes 。 我猜应该用procs替换nodes 。