在具有不同变量的多个核心中运行类似程序

Question

我有一个程序，我想创建N个实例，其中唯一不同的是一些超参数$ \\ beta $。

在我看来，我知道我可以使用bash脚本执行此操作，我将程序调用N次，每次调用$ \\ beta $的值，并将每个值发送到后台，以便下一个可以运行：

#!/bin/bash

nohup python3 test.py 1 >> res.txt &
nohup python3 test.py 2 >> res.txt &
nohup python3 test.py 3 >> res.txt &
nohup python3 test.py 4 >> res.txt &

也许我也可以在python中以更干净的方式直接执行此操作。 我的问题是，根据您的经验，实现这一目标的最简洁方法是什么？ 随意询问我可能错过的任何细节。

Answer 1

为了并行运行多个东西，我想到的是GNU Parallel 。

所以对于你的例子，干运行给出了：

parallel --dry-run 'nohup python prog.py {} &' ::: {1..4}

样本输出

nohup python prog.py 3 &
nohup python prog.py 2 &
nohup python prog.py 1 &
nohup python prog.py 4 &

一般情况下，您不希望多个并行进程写入同一个文件 - 这会弄得一团糟，所以我会在参数后面命名输出文件：

parallel --dry-run 'nohup python prog.py {}  > res{}.txt &' ::: {1..4}

Answer 2

您正在寻找子进程模块。

subprocess.run([process_name, arg1, arg2, argn])

一个例子。

import subprocess

subprocess.run(["ls", "-l"])

还要检查如何调用子进程并获取输出