OpenMP和GSL RNG - 性能問題 - 4個線程實現比純序列1（四核CPU）慢10倍

Question

我正在嘗試將我的C項目從順序編程轉換為並行編程。 盡管為此目的，大多數代碼現在已經從頭開始重新設計，但隨機數的生成仍然是其核心。 因此，隨機數發生器（RNG）的不良性能會嚴重影響程序的整體性能。

我寫了一些代碼行（見下文），以顯示我面臨的問題而沒有太多冗長。

問題如下：每次線程數增加時，性能都會明顯變差。 在這個工作站（linux內核2.6.33.4; gcc 4.4.4; intel四核CPU）中，無論迭代次數n多少，並行for循環使用nt = 4比使用nt = 1大約長10倍。

這種情況似乎在這里有所描述，但焦點主要集中在fortran，這是一種我對此知之甚少的語言，所以我非常感謝一些幫助。

我試圖按照他們的想法創建不同的RNG（使用不同的種子）來訪問每個線程，但性能仍然很差。 實際上，每個線程的這個不同的播種點也讓我感到困惑，因為我無法看到最終如何保證生成的數字的質量（缺乏相關性等）。

我已經考慮過完全放棄GSL並自己實現一個隨機生成器算法（例如Mersenne-Twister），但我懷疑我稍后會遇到同樣的問題。

非常感謝您提供的答案和建議。 請問我可能忘記提及的任何重要事項。

編輯：由lucas1024（pragma for-loop聲明）和JonathanDursi（播種;將“a”設置為私有變量）建議的更正。 多線程模式下的性能仍然非常低迷。

編輯2：實施Jonathan Dursi建議的解決方案（見評論）。

    #include <stdio.h>
    #include <stdlib.h>
    #include <time.h>
    #include <gsl/gsl_rng.h>
    #include <omp.h>

    double d_t (struct timespec t1, struct timespec t2){

        return (t2.tv_sec-t1.tv_sec)+(double)(t2.tv_nsec-t1.tv_nsec)/1000000000.0;
    }

    int main (int argc, char *argv[]){

        double a, b;

        int i,j,k;

        int n=atoi(argv[1]), seed=atoi(argv[2]), nt=atoi(argv[3]);

        printf("\nn\t= %d", n);
        printf("\nseed\t= %d", seed);
        printf("\nnt\t= %d", nt);

        struct timespec t1, t2, t3, t4;

        clock_gettime(CLOCK_PROCESS_CPUTIME_ID, &t1);

        //initialize gsl random number generator
        const gsl_rng_type *rng_t;
        gsl_rng **rng;
        gsl_rng_env_setup();
        rng_t = gsl_rng_default;

        rng = (gsl_rng **) malloc(nt * sizeof(gsl_rng *));

            #pragma omp parallel for num_threads(nt)
        for(i=0;i<nt;i++){
            rng[i] = gsl_rng_alloc (rng_t);
            gsl_rng_set(rng[i],seed*i);
        }

        clock_gettime(CLOCK_PROCESS_CPUTIME_ID, &t2);

        for (i=0;i<n;i++){
            a = gsl_rng_uniform(rng[0]);
        }

        clock_gettime(CLOCK_PROCESS_CPUTIME_ID, &t3);

        omp_set_num_threads(nt);
        #pragma omp parallel private(j,a)
        {
            j = omp_get_thread_num();
            #pragma omp for
            for(i=0;i<n;i++){
                a = gsl_rng_uniform(rng[j]);
            }
        }

        clock_gettime(CLOCK_PROCESS_CPUTIME_ID, &t4);

        printf("\n\ninitializing:\t\tt1 = %f seconds", d_t(t1,t2));
        printf("\nsequencial for loop:\tt2 = %f seconds", d_t(t2,t3));
        printf("\nparalel for loop:\tt3 = %f seconds (%f * t2)", d_t(t3,t4), (double)d_t(t3,t4)/(double)d_t(t2,t3));
        printf("\nnumber of threads:\tnt = %d\n", nt);

        //free random number generator
        for (i=0;i<nt;i++)
            gsl_rng_free(rng[i]);
        free(rng);

        return 0;

    }

Answer 1

問題出在第二個#pragma omp行。 第一個#pragma omp產生4個線程。 在那之后你應該簡單地說#pragma omp for - not #pragma omp parallel for。

使用當前代碼，根據您的omp嵌套設置，您將創建4 x 4個執行相同工作並訪問相同數據的線程。