使用 openMP 进行循环并行化的数组操作

Question

我正在尝试并行化基于数组操作的循环。 但是，我无法获得预期的加速。 我猜我的实现中并行化的方式是错误的。

这是一个例子：

    curr = (char**)malloc(sizeof(char*)*nx + sizeof(char)*nx*ny);
    next = (char**)malloc(sizeof(char*)*nx + sizeof(char)*nx*ny);

    int i;
    #pragma omp parallel for shared(nx,ny) firstprivate(curr) schedule(static)
    for(i=0;i<nx;i++){
        curr[i] = (char*)(curr+nx) + i*ny;
    }

    #pragma omp parallel for shared(nx,ny) firstprivate(next) schedule(static)
    for(i=0;i<nx;i++){
        next[i] = (char*)(next+nx) + i*ny;
    } 

这是另一个：

int i,j, sum = 0, probability = 0.2;     
#pragma omp parallel for collapse(2) firstprivate(curr) schedule(static)
for(i=1;i<nx-1;i++){
    for(j=1;j<ny-1;j++) {
        curr[i][j] = (real_rand() < probability);
        sum += curr[i][j];
    }
}

我的方式有什么问题吗？ 我该如何改进？

Answer 1

在第一个示例中，每个线程完成的工作非常少，来自 OpenMP 运行时的开销抵消了并行执行的速度。 您可以尝试将两个并行区域组合在一起以减少开销，但这无济于事：

#pragma omp parallel for schedule(static)
for(int i=0;i<nx;i++){
    curr[i] = (char*)(curr+nx) + i*ny;
    next[i] = (char*)(next+nx) + i*ny;
}

在第二种情况下，瓶颈是对drand48() ，埋藏在对real_rand()的调用中，以及求和。 drand48使用在所有线程之间共享的全局状态。 在单线程应用程序中，状态通常保存在 L1 数据缓存中， drand48非常快。 在您的情况下，当一个线程更新状态时，此更改会传播到其他内核并使它们的缓存无效。 因此，当其他线程调用drand48 ，必须再次从内存（或共享 L3 缓存）中获取状态。 这引入了巨大的延迟并使dran48比在单线程程序中使用时慢得多。 这同样适用于sum中的sum ，它也会由于数据竞争而计算出错误的值。

第一个问题的解决方案是为每个线程设置单独的 PRNG，例如，使用erand48()并为xsubi传递线程本地值。 您还必须为每个 PRNG 设置不同的值以避免相关的伪随机流。 数据竞争的解决方案是使用 OpenMP 缩减：

int sum = 0;
double probability = 0.2;     
#pragma omp parallel for collapse(2) reduction(+:sum) schedule(static)
for(int i=1;i<nx-1;i++){
    for(int j=1;j<ny-1;j++) {
        curr[i][j] = (real_rand() < probability);
        sum += curr[i][j];
    }
}