使用OpenMP重叠计算和通信或I / O

Question

我正在一个HPC项目中，在这里我正在处理磁盘中的TB数据。 基本流程（如果通过在每个节点上导入数据的子集表示）。 生成大量其他数据并累积结果，然后导出结果。 I / OI需要做的事很大，几乎要花与计算一样多的时间。 我希望交错计算和通信。 我真的只知道OpenMP。 下面是我尝试的伪代码示例。 但是，这些部分似乎正在串行运行。

有没有办法迫使这些部分并行运行？ 有一个更好的方法吗？

while ( There are still blocks of work available ) {

#pragma  omp parallel sections num_threads(2)
{
    #pragma omp section
    {
        //Perform collective I/O 
        // Based on parallel HDF
        BigBlock block1 = ImportFunc();
    }

    #pragma omp section
    {
        while (While there are still subset blocks to process) {
            const SubSetBlock block2 = GenerateNextSubBlock(); //includes a parallel for loop

            #pragma omp parallel for default(shared) num_threads(omp_get_max_threads()-1)
            for (int i = 0; i < numVessels; ++i) {
                ProcessAllBlock2ItemsForABlock1Item(block1[i], block2);
            }

        }

    }
} //OMP Sections
}// while

Answer 1

以我对大型数据集的有限经验，我发现STXXL非常有用。 它在后台使用OpenMP，并且如果您可以足够快地馈送数据，它将使磁盘I / O饱和。

http://stxxl.org

麦克风

Answer 2

如果需要嵌套，则应设置omp_set_max_active_levels(...) （在您的情况下至少为2） 和 omp_set_nested(true) 。

但是，老实说，我建议您在这种情况下使用std::future ，它非常易于使用，并且将在一个单独的线程上运行您的函数（可以肯定的是，您应该将std::launch::async作为第一个参数传递给它）。 在嵌套方面，它通常不如OpenMP麻烦。

电话会是这样的

std::future<BigBlock> block1 = std::async(std::launch::async, ImportFunc, ...);

...是要传递给ImportFunc任何参数。

一旦需要数据，就调用block1.get() ，它将等待线程完成（如果尚未完成），或者简单地返回数据（如果已有）。 到那时，我建议您使用一个move构造函数（如果它很大，您真的不想复制它，那么您可能已经为ImportFunc有了一个了，或者您正在传递指针，但是在这种情况下，如果创建另一个BigBlock实例，并将其移动到另一个BigBlock实例（即您的线程希望对其进行操作的实例），请确保在将来被破坏时不要delete它。