在python中运行时捕获shell脚本的实时输出

Question

我正在编写一个python脚本以ssh进入Linux服务器并执行已经存储在Linux服务器上的Shell脚本。

到目前为止，这是我的代码

command = ['ssh into the remote server',
           'cd into the directory of the shell script,
           './running the shell script',
           ]

process = subprocess.Popen(command,
                            shell=True,
                            stdin=subprocess.PIPE,
                            stdout=subprocess.PIPE,
                            stderr=subprocess.PIPE)

err, out = process.communicate()

if out: 
    print "standard output of subprocess is : "
    print out
if err:
    print "standard error of subprocess is : "
    print err
print "returncode of subprocess: "
print process.returncode

第一个问题：我可以通过stderr获取我的shell脚本的输出，但是只有在整个shell脚本执行完毕后才能获取它。 因此，如果shell脚本需要10分钟才能完成，那么我只能在10分钟后才能看到shell脚本的输出。 我想让我的shell脚本的输出逐行返回给我，就像我在远程服务器中手动执行脚本一样。 能做到吗？

第二个问题：如您所见，如果我将所有命令都放在列表中，则我的命令列表中只有三个命令（这只是我所有命令的一小部分），我只能通过stdout获得所有命令的输出仅当我所有的命令执行完毕时。 如果我的第一个问题不能解决，是否有办法至少在执行完每个命令之后获取每个命令的输出，而不是仅在所有命令执行完毕后立即接收所有命令的输出。

Answer 1

我不太确定，但是如果您将其他两个命令作为ssh参数传递，则可能会立即获得输出：

command = 'ssh user@example.com \'cd some/path/on/your/server; ./run-the-script.sh\''

以我的理解，Python首先读取并处理所有输入， 然后才返回输出。 我对Python不太熟悉，因此我对此可能是错的，但是如果我是对的，这应该会有所帮助。

Answer 2

不要调用.communicate() －等待过程完成。

而是继续从.stdout管道读取数据。

简单的例子：

In [1]: import subprocess
In [2]: p = subprocess.Popen(["find", "/"], stdout=subprocess.PIPE)


In [3]: p.stdout
Out[3]: <open file '<fdopen>', mode 'rb' at 0x7f590446dc00>

In [4]: p.stdout.readline()
Out[4]: '/\n'

In [5]: p.stdout.readline()
Out[5]: '/var\n'

In [6]: p.stdout.readline()
Out[6]: '/var/games\n'

Answer 3

要立即查看输出，请不要重定向它：

from subprocess import Popen, PIPE

p = Popen(['ssh', 'user@hostname'], stdin=PIPE) 
p.communicate(b"""cd ..
echo 1st command
echo 2nd command
echo ...
""")

如果您想同时捕获变量中的“实时”输出并在终端中显示它，则解决方案取决于您是否需要同时处理stdin / stdout / stderr。

如果输入很小，并且您想组合stdout / stderr，则可以一次传递所有命令并逐行读取合并的输出：

from subprocess import Popen, PIPE, STDOUT

p = Popen(['ssh', 'user@hostname'], stdin=PIPE,
          stdout=PIPE, stderr=STDOUT, bufsize=1) 
p.stdin.write(b"""cd ..
echo 1st command
echo 2nd command
echo ...
""")
p.stdin.close() # no more input

lines = [] # store output here
for line in iter(p.stdout.readline, b''): # newline=b'\n'
    lines.append(line) # capture for later
    print line, # display now
p.stdout.close()
p.wait()

如果要分别捕获“实时” stdout / stderr，请参阅：

• 显示子流程输出到stdout并将其重定向
• Subprocess.Popen：将stdout和stderr都克隆到终端和变量