解析pexpect输出

Question

我正在尝试实时解析程序块缓冲的输出，这意味着在进程结束之前输出不可用。 我需要的是逐行解析，过滤和管理输出中的数据，因为它可以运行几个小时。

我试图用subprocess.Popen（）来捕获输出，但是，正如你可能猜到的那样，Popen无法管理这种行为，它会一直缓冲直到进程结束。

from subprocess import Popen, PIPE

p = Popen("my noisy stuff ", shell=True, stdout=PIPE, stderr=PIPE)
for line in p.stdout.readlines():
    #parsing text and getting data

所以我找到了pexpect，它实时打印输出，因为它将stdout视为文件，或者我甚至可以做一个脏技巧打印出文件并在函数外解析它。 但好吧，它太脏了，即使对我来说也是如此;）

import pexpect
import sys

pexpect.run("my noisy stuff", logfile=sys.stdout)

但我想它应该是一个更好的pythonic方式来做到这一点，只需像子进程一样管理stdout。 Popen。 我怎样才能做到这一点？

编辑：

运行JF提案：

这是一次故意错误的审计，大约需要25秒。 停止。

from subprocess import Popen, PIPE

command = "bully mon0 -e ESSID -c 8 -b aa:bb:cc:dd:ee:00 -v 2"

p = Popen(command, shell=True, stdout=PIPE, stderr=PIPE)

for line in iter(p.stdout.readline, b''):
    print "inside loop"
    print line

print "outside loop"
p.stdout.close()
p.wait()


#$ sudo python SCRIPT.py
                                ### <= 25 secs later......
# inside loop
#[!] Bully v1.0-21 - WPS vulnerability assessment utility

#inside loop
#[!] Using 'ee:cc:bb:aa:bb:ee' for the source MAC address

#inside loop
#[X] Unable to get a beacon from the AP, possible causes are

#inside loop
#[.]    an invalid --bssid or -essid was provided,

#inside loop
#[.]    the access point isn't on channel '8',

#inside loop
#[.]    you aren't close enough to the access point.

#outside loop

改为使用这种方法：编辑：由于输出中有大的延迟和超时，我不得不修复孩子，并添加了一些黑客，所以最终代码看起来像这样

import pexpect

child = pexpect.spawn(command)
child.maxsize = 1  #Turns off buffering
child.timeout = 50 # default is 30, insufficient for me. Crashes were due to this param.
for line in child:
    print line,

child.close()

返回相同的输出，但它实时打印行。 所以...已解决了谢谢@JF Sebastian

Answer 1

.readlines()读取所有行。 难怪在子进程结束之前你没有看到任何输出。 一旦子.readline()刷新其stdout缓冲区，您就可以使用.readline()来.readline()读取：

from subprocess import Popen, PIPE

p = Popen("my noisy stuff", stdout=PIPE, bufsize=1)
for line in iter(p.stdout.readline, b''):
    # process line
    ..
p.stdout.close()
p.wait()

如果您已经有了pexpect那么您可以使用它来解决块缓冲问题：

import pexpect

child = pexpect.spawn("my noisy stuff", timeout=None)
for line in child: 
    # process line
    ..
child.close()

另请参阅我在评论中链接的问题中的stdbuf ，基于pty的解决方案 。