使用 OpenMP 任务的带中断的并行 for 循环

Question

我是 OpenMP 学习任务的初学者，并希望在下面的场景中应用它们。 这个例子本身是完全没用的； 关键是要并行化一个包含中断条件并执行 IO 操作的循环。 出于这个问题的目的，我将中断条件设为通用。

我尝试了以下方法，但程序变得异常缓慢（可能是因为我创建了太多任务......）。 我也尝试使用 taskloop 构造，但结果几乎相同。 现在，我正试图弄清楚如何让这该死的东西运行得相当快，然后再考虑中断条件。 关于我应该如何进行的任何建议？

#include <stdio.h>
#include <stdlib.h>
#include <omp.h>

const int max_iters = 500000;
const char cmd_format[300] = "echo Iteration %d\n";

int main(int argc, char **argv) {
  FILE *fp;
  char ret[200];
  char cmd[400];

  #pragma omp parallel
  #pragma omp single
  for (int i = 0; i < max_iters; i++) {
    #pragma omp task default(none) \
     firstprivate(i,cmd,fp,ret) \
     shared(cmd_format,max_iters)
    {
      sprintf((char *)&cmd, cmd_format, i);
      fp = popen(cmd, "r");
      while (!feof(fp)) {
        fgets((char *)&ret, 200, fp);
        if (/* some condition */) {
          printf("Done\n");
          i = max_iters;
        }
      }
      pclose(fp);
    }
  }

  return EXIT_SUCCESS;
}

Answer 1

我还没有测试下面的代码，但它仍然应该显示这个想法。 问题是您不能轻易中止并行计算。 在 OpenMP 中执行此操作的方法是取消，请参阅https://www.openmp.org/spec-html/5.1/openmpse28.html#x144-1560002.20 。

这是使用cancel构造的代码：

#include <stdio.h>
#include <stdlib.h>
#include <omp.h>

const int max_iters = 500000;
const char cmd_format[300] = "echo Iteration %d\n";

int main(int argc, char **argv) {
  FILE *fp;
  char ret[200];
  char cmd[400];

  #pragma omp parallel
  #pragma omp single
  #pragma omp taskgroup
  for (int i = 0; i < max_iters; i++) {
    #pragma omp task default(none) \
     firstprivate(i,cmd,fp,ret) \
     shared(cmd_format,max_iters)
    {
      sprintf((char *)&cmd, cmd_format, i);
      fp = popen(cmd, "r");
      while (!feof(fp)) {
        fgets((char *)&ret, 200, fp);
        if (/* some condition */) {
          #pragma omp atomic update
          i = max_iters;
          printf("Done\n");
          #pragma omp cancel taskgroup
        }
      }
      pclose(fp);
    }
  }

  return EXIT_SUCCESS;
}

在单曲之后，我引入了一个taskgroup结构，这样现在所有创建的任务都有一个逻辑分组。 一旦满足您的条件， cancel构造就会触发取消任务组的taskgroup 。

需要注意的一点是：这不是立即行动。 如果一个任务已经开始执行，它不会被终止，除非它到达一个取消点或者它到达它的代码区域的末尾。 已生成但位于任务池中且尚未开始执行的任务将被丢弃。

因此，在使用此功能时，您需要让您的代码意识到这一点并处理这些情况。 因此，例如，如果终止条件对于多个任务可能为真，则您需要使代码足够灵活，以便两个或更多任务可以进入if语句并尝试记录结果（在您的情况下，设置i到max_iters ）。 这就是为什么我添加了atomic结构以确保在更新i变量时不会出现竞争，但后期任务可能仍会覆盖早期任务的结果。 由于您的真实代码中必须发生的事情取决于您的代码实际执行的操作，因此我无法给出更好的建议。