并行乘法矩阵openmp比顺序慢

Question

我是一个新的OpenMp编程器，现在我遇到了两个矩阵相乘的问题。 这是我的并行代码，但是没有我期望的那么快。 例如，我给它一个3000 * 3000矩阵和3000 * 3000，而我的域是2（随机数是0或1），并行比顺序慢

    clock_t tStart = clock();
    cout<<(char)169<<" parallel "<<(char)170<<endl;
    int a,b,c,Domain ;
    cin>>a>>b>>c>>Domain;
    srand(time(0));
    int **arr1;
    int **arr2;
    int **arrRet;

    arr1 = new int*[a];
    #pragma omp for schedule (dynamic)
    for(int i=0 ; i<a ; i++)
    arr1[i] = new int [b];

    arr2 = new int*[b];
    #pragma omp for schedule (dynamic)
    for(int i=0 ; i<b ; i++)
    arr2[i] = new int [c];

    arrRet = new int*[a];
    #pragma omp for schedule (dynamic)
    for(int i=0 ; i<a ; i++)
    arrRet[i] = new int [c];

    #pragma omp for schedule (dynamic)
    for(int i=0 ; i<a ; i++)
    {
        #pragma omp for schedule (dynamic)
        for(int j=0; j<b ; j++)
        {
        arr1[i][j]=rand()%Domain;
        }
    }

    //cout<<"\n\n\n";
    #pragma omp for schedule (dynamic)
    for(int i=0 ; i<b ; i++)
    {
        #pragma omp for schedule (dynamic)
        for(int j=0 ; j<c ; j++)
        {
        arr2[i][j]=rand()%Domain;
        }
    }

    //cout<<"\n\n\n";
    #pragma omp for schedule (dynamic)
    for(int i=0 ; i<a ; i++)
        #pragma omp for schedule (dynamic)
        for(int j2=0 ; j2<c ; j2++)
        {
            int sum=0;
            #pragma omp parallel for shared(sum) reduction(+:sum)
            for(int j=0 ; j<b ; j++)
            {
                sum+=arr1[i][j]*arr2[j][j2];
            }
            arrRet[i][j2]=sum;
        }
    printf("Time taken : %.4fs\n", (double)(clock() - tStart) / CLOCKS_PER_SEC);

Answer 1

有许多免费的高度优化的线性代数库 。 我强烈建议您尽可能使用其中之一。

您的性能下降可能是由许多原因造成的。 以下列表详细介绍了一些最常见的原因：

• 当每次迭代的工作量完全平衡时使用schedule(dynamic) 。 省略该子句会将时间表设置为static ，这更适合于这种并行化类型。

• 内存分配压力过大。 您实际上不需要为单个矩阵保留多个存储区域。 由于矩阵大小在程序中不会改变，因此您可以为每个矩阵完美地使用一个分配。 由于连续的行在内存中彼此靠近，因此这也改善了数据的局部性。 然后，您可以使用A[ i * b + j ]访问每个元素，其中b是列数。

int *A = (int *) malloc( a * b * sizeof(int) );

• 在您的代码中，您似乎错过了一个parallel区域。 这导致除最后一个之外的所有omp for都不由多个线程执行。

• 使用collapse(2)将omp for合并omp for嵌套循环中的构造，如以下示例所示：

#pragma omp for collapse(2)
for( i = 0; i < a; i++ ) {
   for( j = 0; j < b; j++ ) {
      // your parallel code
   }
}