Windows上的Python子進程輸出？

Question

我在從子進程stdout管道獲取輸出時遇到了一些困難。 我正在通過它啟動一些第三方代碼，以便提取日志輸出。 直到最近更新第三方代碼，一切正常。 更新后，python已無限期地開始阻塞，並且實際上沒有顯示任何輸出。 我可以手動啟動第三方應用程序並查看輸出。

我正在使用的代碼的基本版本：

import subprocess, time
from threading import Thread

def enqueue_output(out):
    print "Hello from enqueue_output"
    for line in iter(out.readline,''):
        line = line.rstrip("\r\n")
        print "Got %s" % line
    out.close()

proc = subprocess.Popen("third_party.exe", stdout=subprocess.PIPE, bufsize=1)
thread = Thread(target=enqueue_output, args=(proc.stdout,))
thread.daemon = True
thread.start()

time.sleep(30)

如果我將third_party.exe替換為此腳本，則此方法非常有效：

import time, sys

while True:
    print "Test"
    sys.stdout.flush()
    time.sleep(1)

所以我不清楚魔法需要做什么才能使用原始命令。

這些都是subprocess.Popen行的所有變種我試過沒有成功：

proc = subprocess.Popen("third_party.exe", stdout=subprocess.PIPE, bufsize=0)
proc = subprocess.Popen("third_party.exe", stdout=subprocess.PIPE, shell=True)
proc = subprocess.Popen("third_party.exe", stdout=subprocess.PIPE, creationflags=subprocess.CREATE_NEW_CONSOLE)
si = subprocess.STARTUPINFO()
si.dwFlags = subprocess.STARTF_USESTDHANDLES | subprocess.STARTF_USESHOWWINDOW
proc = subprocess.Popen("third_party.exe", stdout=subprocess.PIPE, startupinfo=si)

編輯1：在這種情況下我實際上無法使用.communicate（）。 我正在推出的應用程序仍然運行很長一段時間（幾天到幾周）。 我實際測試.communicate（）的唯一方法就是在啟動后立即殺死應用程序，我覺得不會給我有效的結果。

即使非線程版本也失敗了：

import subprocess, time
from threading import Thread

proc = subprocess.Popen("third_party.exe", stdout=subprocess.PIPE, stderr=subprocess.PIPE)

print "App started, reading output..."
for line in iter(proc.stdout.readline,''):
    line = line.rstrip("\r\n")
    print "Got: %s" % line

編輯2：感謝jdi，以下工作正常：

import tempfile, time, subprocess

w = "test.txt"
f = open("test.txt","a")
p = subprocess.Popen("third_party.exe", shell=True, stdout=f,
                        stderr=subprocess.STDOUT, bufsize=0)

time.sleep(30)

with open("test.txt", 'r') as r:
    for line in r:
        print line
f.close()

Answer 1

首先，我建議您簡化此示例以確保您可以實際讀取任何內容。 從混合中刪除線程的復雜性：

proc = subprocess.Popen("third_party.exe", stdout=subprocess.PIPE, bufsize=1)
print proc.communicate()

如果有效，那很好。 然后你可能會遇到直接或可能在你的線程中讀取stdout的問題。

如果這不起作用，你是否嘗試過stderr到stdout？

proc = subprocess.Popen("third_party.exe", 
                        stdout=subprocess.PIPE, 
                        stderr=subprocess.STDOUT, bufsize=1)

更新

既然你說communicate()是死鎖，那么你可以嘗試另一種方法來看看它是否與子進程的內部緩沖區有問題...

import tempfile
import subprocess

w = tempfile.NamedTemporaryFile()
p = subprocess.Popen('third_party.exe', shell=True, stdout=w, 
                        stderr=subprocess.STDOUT, bufsize=0)

with open(w.name, 'r') as r:
    for line in r:
        print line
w.close()

Answer 2

args = ['svn','log','-v']

def foo(info=''):
    import logging
    import subprocess
    import tempfile
    try:
        pipe = subprocess.Popen(args,bufsize = 0,\
            stdout = subprocess.PIPE,\
            stderr=subprocess.STDOUT)
    except Exception as e:
        logging.error(str(e))
        return False
    while 1:
        s = pipe.stdout.read()
        if s:
            print s,
        if pipe.returncode is None:
            pipe.poll()
        else:
            break
    if not 0 == pipe.returncode:
        return False
    return True

print foo()

這個應該工作，而不是線程，臨時文件魔術。