计算python中子进程/子进程的数量

Question

我没有软件背景，因此请原谅任何不正确的术语。

我想在python脚本中创建一个循环，以监视创建的子进程的数量。 以下是python中的代码示例：

for x in list:
   os.system('program --input %s &' % (x))
   while int(subprocess.check_output("echo $(pgrep -c -P$$)", shell=True)) > n-1:
        time.sleep(0.25)

目的是在不使系统过载的情况下同时运行多个作业（10,000 <）。 作业在后台运行，并且当正在运行的作业数降至某个特定数目（n-1）以下时，下一个作业开始。

上面的代码在ubuntu中运行.py脚本时可以工作，但是由于缺少pgrep的-c选项，因此在macOS中无法工作。

使用以下内容：

subprocess.check_output("pgrep -P$$ | wc -l", shell=True)

...可以在mac终端中使用，但是无法使用os.system（）从python内部返回正确的值。 通过开放的python控制台运行代码或将其作为脚本执行时，会有所区别吗？

有没有更好的（也许是更多的pythonic）或更聪明的方式来编写代码，以使该循环在macOS上运行而无需安装其他版本的pgrep？ 也许通过使用psutil模块或通过某种popen函数在自己的子线程中运行程序来使用它们，从而使它们更易于监视？

非常感谢你！

---

编辑：
修改后的代码：

import subprocess 
import psutil
import time

def childCount():
    current_process = psutil.Process()
    children = current_process.children()
    return(len(children))

for x in range(1,11):
    subprocess.Popen(['sleep 2'], shell=True)
    print('running %s' % (str(x)))
    while childCount() > 4:
        time.sleep(0.25)

但是，现在的问题是脚本在第5次迭代时挂起。 也许subprocess.Popen进程（在这种情况下为sleep ）运行完毕时，由subprocess.Popen打开的新进程没有终止或关闭？

非常感谢！

Answer 1

您所拥有的是一堆来自父进程（即subprocess进程调用）的僵尸子进程，它们在终止之前没有等待退出状态。

import subprocess 
import psutil
import time

def childCount():
    current_process = psutil.Process()
    children = current_process.children()
    return(len(children))

for x in range(1,11):
    p = subprocess.Popen(['sleep 2'], shell=True) # save the Popen instance
    print('running %s' % (str(x)))
    while childCount() > 4:
        time.sleep(0.25)
        p.communicate() # this will get the exit code

通过使用Popen.communicate获取退出状态，您可以释放僵尸孩子。