Popen.communicate 引发 ValueError: 'I/O operation on closed file'

Question

运行代码时出现以下错误。

    Uncaught exception <class 'ValueError'>: I/O operation on closed file.Traceback (most recent call last):
    File "/home/gidumah/miniconda/envs/ytune/lib/python3.7/runpy.py", line 193, in _run_module_as_main
        "__main__", mod_spec)
      File "/home/gidumah/miniconda/envs/ytune/lib/python3.7/runpy.py", line 85, in _run_code
        exec(code, run_globals)
      File "/home/gidumah/ytopt/ytopt/ytopt/search/ambs.py", line 128, in <module>
        search.main()
      File "/home/gidumah/ytopt/ytopt/ytopt/search/ambs.py", line 105, in main
        results = list(self.evaluator.get_finished_evals())
      File "/home/gidumah/ytopt/ytopt/ytopt/evaluator/evaluate.py", line 200, in get_finished_evals
        y = future.result()
      File "/home/gidumah/ytopt/ytopt/ytopt/evaluator/subprocess_evaluator.py", line 41, in result
        stdout, stderr_data = self.proc.communicate()
      File "/home/gidumah/miniconda/envs/ytune/lib/python3.7/subprocess.py", line 951, in communicate
        stdout = self.stdout.read()
    ValueError: I/O operation on closed file.

我正在运行的代码是subprocess_evaluator.py ，如下所示：

class PopenFuture:
    FAIL_RETURN_VALUE = Evaluator.FAIL_RETURN_VALUE

    def __init__(self, args, parse_fxn):
        self.proc = subprocess.Popen(args, shell=True, stdout=subprocess.PIPE,
                                     stderr=subprocess.STDOUT, encoding='utf-8')

        self._state = 'active'
        self._result = None
        self._parse = parse_fxn

    def _poll(self):
        if not self._state == 'active':
            return
        retcode = self.proc.poll()
        if retcode is None:
            self._state = 'active'
            stdout, stderr_data = self.proc.communicate()
            tmp_res = self._parse(stdout)
            if tmp_res != sys.float_info.max:
                self._result = tmp_res
        elif retcode == 0:
            self._state = 'done'
        else:
            self._state = 'failed'

    def result(self):
        if self._result is not None:
            return self._result
        self.proc.wait()
        stdout, stderr_data = self.proc.communicate()
        if self.done:
            self._result = self._parse(stdout)
        else:
            self._result = self.FAIL_RETURN_VALUE
            logger.error(f"Eval failed: {stdout}")
        ####
        # if stdout:
        #     print (stdout)#.split('\n')[:-2])#)[:-1])
        ####   
        return self._result

它说错误在第 41 行，以stdout, stderr_data = self.proc.communicate()给出

有什么我在沟通电话中做得不对吗？

Answer 1

根据文档：

弹出。 通信（输入=无，超时=无）

与进程交互：将数据发送到标准输入。 从 stdout 和 stderr 读取数据，直到到达文件结尾。 等待进程终止并设置 returncode 属性。 可选的输入参数应该是要发送到子进程的数据，或者 None，如果不应该向子进程发送数据。 如果流以文本模式打开，则输入必须是字符串。 否则，它必须是字节。

请注意，它等待进程终止。 因此Popen.communicate不能多次运行。 Popen.communicate上下文中的错误意味着程序已经终止了进程并关闭了管道，并在第二次communicate调用时引发了异常。

看来您正在使用ytopt库的代码。 请检查您是否正确使用代码，注意它在几个不同的地方调用了communicate() ，有时会传递 ValueErrors 但有时不会。 另外，查看 Thomas Wouters解决问题的方法：

如果要使用通信，则必须重新启动循环中的进程，或者给它一个字符串，该字符串是生成器的所有输入。 如果要进行流式通信，逐位发送数据，则必须不使用通信。 相反，您需要在读取 p.stdout 和 p.stderr 时写入 p.stdin。 这样做很棘手，因为您无法分辨哪个 output 是由哪个输入引起的，并且您很容易陷入死锁。 有第三方库可以帮助你解决这个问题，比如 Twisted。

如果您想以交互方式执行此操作，发送一些数据，然后在发送更多数据之前等待并处理结果，事情会变得更加困难。 您可能应该为此使用像 pexpect 这样的第三方库。

当然，如果您可以在循环内启动进程，那会容易得多：

 cmd = ['intersectBed', '-a', 'stdin', '-b', bedfile] for entry in my_entry_generator: p = subprocess.Popen(cmd, stdin=subprocess.PIPE, stdout=subprocess.PIPE, stderr=subprocess.PIPE) output = p.communicate(input='\t'.join(entry) + '\n')[0] print output