使用MPI进行数值优化

Question

我试图通过使用MPI指令并行化优化例程。 该程序的结构大致类似于本文结尾处的框图。 数据被馈送到优化例程，它调用一个Objective函数子例程和另一个子例程，该子例程计算出一个称为“ Jacobian”的矩阵。 优化例程会根据需要迭代多次，以达到目标函数的最小值，然后退出，并使用雅可比行列式确定最小值可能在哪个方向上并朝该方向迈出一步。 我对优化例程没有控制权，我只提供目标函数和计算雅可比函数。 大部分时间都花在计算Jacobian上。 由于雅可比行列式的每个矩阵元素都独立于其余元素，因此它似乎是并行化的良好候选者。 但是，我还没能做到这一点。 最初，我以为我可以将Jacobian的计算分布在大量节点上，每个节点仅计算一些矩阵元素。 我是这样做的，但是仅经过一次迭代，节点上的所有线程就退出了，程序停顿了。 我开始认为，如果没有优化例程的源代码，这可能是不可能的。 原因是将代码分布在多个节点上，并指示它们仅计算Jacobian的一部分，从而使除主节点之外的所有节点都陷入了优化。 有没有解决的办法，可以使用MPI而不接触优化例程中的代码？ 只能在主节点以外的所有节点上执行计算雅可比行列式的函数吗？ 你会怎么做？

Answer 1

原来比我想的要容易。 如问题中所述，工作线程仅在一次迭代后退出。 解决的办法是，用一个无限的while循环将工人执行的Jacobian计算中的代码括起来，并在退出答案后通过从主线程（主线程）发送一条消息来打破它。