在python子过程中使用“时间”时访问标准输出

Question

我一直在使用time命令在Shell中进行一些手动基准测试。 我想通过编写一个python脚本来扩展基准测试，该脚本既可以自动执行测试，又可以让我访问时间数据，以便可以选择的格式（例如csv）记录下来。 我看到有timeit模块，但似乎更多是用于对python代码进行基准测试，在这里我要进行基准测试的是在命令行中运行的程序。

这是我一直在手动执行的操作：

time program -aflag -anotherflag

我最初在脚本中实现此目标的尝试如下所示：

cmnd = ['time', 'program', 'aflag', 'anotherflag']
p = subprocess.Popen(cmnd, shell=False, stdout=subprocess.PIPE, stderr=subprocess.PIPE)
out, err = p.communicate
print out
print err

我可以很好地访问time的输出-它已传递到stderr，但是我没有在stdout中获得program的输出。 如果我从cmnd删除time并将shell=False更改为True，那么我将在stdout中获取程序的输出-但是显然不是time的输出，这很重要。

cmnd = ['program', 'aflag', 'anotherflag']
p = subprocess.Popen(cmnd, shell=True, stdout=subprocess.PIPE, stderr=subprocess.PIPE)
out, err = p.communicate
print out
print err

如果我使用shell=True将time加回到cmnd，我会得到时间的输出，但program实际上并未运行。

我如何才能同时工作？

Answer 1

与其尝试使它起作用，不如不使用resource模块中Python内置的功能？

import resource
import subprocess

cmd = ['program', 'aflag', 'anotherflag']
p = subprocess.Popen(cmd, shell=False, stdout=subprocess.PIPE, stderr=subprocess.PIPE)
out, err = p.communicate()
usage = resource.getrusage(resource.RUSAGE_CHILDREN)
print out
print err
print usage.ru_utime, usage.ru_stime, usage.ru_utime+usage.ru_stime

---

如果您需要区分同时运行的不同子进程，那么getrusage显然还不够。 在这种情况下，您需要使用wait4或类似方法来获取每个进程的资源使用情况。 这使您对Popen的使用更加复杂。 在这种情况下，您可能想要做的是子类或派生subprocess代码（但如果您使用的是3.1或更早版本，请确保使用subprocess32 backport以避免communicate的错误-以便该类实际上具有方法您想钩住…），然后将_try_wait方法更改为使用wait4而不是waitpid ，并将多余的结果存储在例如self.rusage以便以后可以访问它。

我认为这样会起作用：

import subprocess32

class Popen(subprocess32.Popen):
    def _try_wait(self, wait_flags):
        """All callers to this function MUST hold self._waitpid_lock."""
        try:
            (pid, sts, rusage) = _eintr_retry_call(os.wait4, self.pid, wait_flags)
            if pid == self.pid:
                self.rusage = rusage
        except OSError as e:
            if e.errno != errno.ECHILD:
                raise
            pid = self.pid
            sts = 0
        return (pid, sts)

cmd = ['program', 'aflag', 'anotherflag']
p = Popen(cmd, shell=False, stdout=subprocess32.PIPE, stderr=subprocess32.PIPE)
out, err = p.communicate()
print out
print err
try:
    usage = p.rusage
except AttributeError:
    print 'Child died before we could wait on it, no way to get rusage'        
else:
    print usage.ru_utime, usage.ru_stime, usage.ru_utime+usage.ru_stime