Windows上的Python Popen具有多线程 - 无法删除stdout / stderr日志

Question

在Windows上使用python 2.7.4（注意：WinXP - 下面的评论者建议这在Win7上正常工作），我有一个脚本创建几个线程，每个线程通过Popen运行子进程，stdout / stderr重定向到文件和调用等待（）。 每个Popen都有自己的stdout / stderr文件。 每个进程返回后，我有时必须删除文件（实际上将它们移动到其他地方）。

我发现在所有wait（）调用返回之前我都无法删除stdout / stderr日志。 在此之前我得到“WindowsError：[错误32]该进程无法访问该文件，因为它正被另一个进程使用”。 看起来，只要至少有一个子进程打开，Popen就会以某种方式保留stderr文件，即使这些文件没有共享。

测试代码重现如下。

C：\\ test1.py

import subprocess
import threading
import os

def retryDelete(p, idx):
    while True:
        try:
            os.unlink(p)
        except Exception, e:
            if "The process cannot access the file because it is being used by another process" not in e:
                raise e
        else:
            print "Deleted logs", idx
            return

class Test(threading.Thread):
    def __init__(self, idx):
        threading.Thread.__init__(self)
        self.idx = idx

    def run(self):
        print "Creating %d" % self.idx
        stdof = open("stdout%d.log" % self.idx, "w")
        stdef = open("stderr%d.log" % self.idx, "w")
        p = subprocess.Popen("c:\\Python27\\python.exe test2.py %d" % self.idx,
                             stdout=stdof, stderr = stdef)
        print "Waiting %d" % self.idx
        p.wait()
        print "Starting deleting logs %d" % self.idx
        stdof.close()
        stdef.close()
        retryDelete("stderr%d.log" % self.idx, self.idx)
        print "Done %d" % self.idx

threads = [Test(i) for i in range(0, 10)]
for thread in threads:
    thread.start()
for thread in threads:
    thread.join()

C：\\ test2.py：

import time
import sys

print "Sleeping",sys.argv[1]
time.sleep(int(sys.argv[1]))
print "Exiting",sys.argv[1]

如果运行此命令，您将看到每个retryDelete（）都会对文件访问错误进行旋转，直到所有子进程都完成为止。

更新 ：即使stdof和stdef文件描述符未传递给Popen构造函数，也会出现问题。 但是，如果删除了Popen并且用time.sleep（self.idx）替换了wait（），则不会发生（即删除会立即发生）。 由于Popen似乎对未传递给它的文件描述符有影响，我想知道这个问题是否与句柄继承有关。

更新 ：close_fds = True给出错误（重定向stdout / stderr时Windows不支持），并且在wait（）调用后删除带有del p的Popen对象对问题没有影响。

更新 ：使用sysinternals进程资源管理器查找具有文件句柄的进程。 将测试减少到仅2个线程/儿童，并使第二个线程保持打开状态很长时间。 句柄搜索显示唯一具有stderr0.log句柄的进程是父python进程，它有两个句柄打开。

更新 ：对于我目前的紧急使用，我找到了一种解决方法，即创建一个单独的脚本，该脚本将命令行和stderr / stdout日志文件作为参数并运行重定向的子进程。 然后父进程使用os.system（）执行此帮助程序脚本。 然后成功释放日志文件并将其删除。 但是，我仍然对这个问题的答案感兴趣。 这对我来说就像是一个特定于WinXP的错误，但我仍然可能做错了。

Answer 1

这个问题很老了，这个BUG已在Python 3.4+上修复。 为了记录，这里有一个hacky技巧，我们一直用于解决python 2.7或python 3.3-上的问题

这个函数是用纯python（没有外部API）制作的，只适用于Windows！

==>在启动子进程之前，请调用以下函数

def _hack_windows_subprocess():
    """HACK: python 2.7 file descriptors.
    This magic hack fixes https://bugs.python.org/issue19575
    by adding HANDLE_FLAG_INHERIT to all already opened file descriptors.
    """
    # Extracted from https://github.com/secdev/scapy/issues/1136
    import stat
    from ctypes import windll, wintypes
    from msvcrt import get_osfhandle

    HANDLE_FLAG_INHERIT = 0x00000001

    for fd in range(100):
        try:
            s = os.fstat(fd)
        except:
            break
        if stat.S_ISREG(s.st_mode):
            handle = wintypes.HANDLE(get_osfhandle(fd))
            mask   = wintypes.DWORD(HANDLE_FLAG_INHERIT)
            flags  = wintypes.DWORD(0)
            windll.kernel32.SetHandleInformation(handle, mask, flags)

此函数将处理已打开的最后100个文件描述符，并将其设置为“无继承模式”，这将修复该错误。 如果需要，可以增加100号码。

Answer 2

您可以尝试更新到Win7，我知道这是WinXP用户中的常见错误。