python subprocess output issue with PIPE, when trying to capture free running outputs

Question

输入 C 程序测试.c

#include <stdio.h>

int main(void)
{
    while(1)
    {
        printf("Hello World!\n");
        sleep(1);
    }
    return 0;
}

用gcc编译gcc -g -o test test.c

运行程序可以看到它给出了 output

./test 
Hello World!
Hello World!
Hello World!
^C

使用子进程运行程序以捕获 output

import subprocess
import shlex

cmd = "./test"
def run_command(command):
    cmds = shlex.split(cmd)
    print(cmds)
    proc = subprocess.Popen(cmds, stdout=subprocess.PIPE)
    try:
        outs, errs = proc.communicate(timeout=15)
    except subprocess.TimeoutExpired:
        proc.kill()
        outs, errs = proc.communicate()
    print(outs)
    
run_command(cmd)

Output 为空

python3 test.py 
['./test']
b''

将cmd = "./test"替换为cmd = "gdb -x load./test"其中load是一个带有run命令的文件

Output 只是 gdb 信息，但没有申请 output

python3 test.py 
['gdb', '-x', 'load', './test']
b'GNU gdb (Ubuntu 12.1-0ubuntu1~22.04) 12.1\nCopyright (C) 2022 Free Software Foundation, Inc.\nLicense GPLv3+: GNU GPL version 3 or later <http://gnu.org/licenses/gpl.html>\nThis is free software: you are free to change and redistribute it.\nThere is NO WARRANTY, to the extent permitted by law.\nType "show copying" and "show warranty" for details.\nThis GDB was configured as "x86_64-linux-gnu".\nType "show configuration" for configuration details.\nFor bug reporting instructions, please see:\n<https://www.gnu.org/software/gdb/bugs/>.\nFind the GDB manual and other documentation resources online at:\n    <http://www.gnu.org/software/gdb/documentation/>.\n\nFor help, type "help".\nType "apropos word" to search for commands related to "word"...\nReading symbols from ./test...\n[Thread debugging using libthread_db enabled]\nUsing host libthread_db library "/lib/x86_64-linux-gnu/libthread_db.so.1".\n'

Answer 1

您正在查看缓冲问题。 当一个 C 程序的标准 output 是一个交互设备时，output 默认是行缓冲的。 否则，包括当标准 output 是 pipe 时，它的 output 是块缓冲的。

对于行缓冲的 output，每个“Hello World.\n”都会因为尾随的换行符而立即发送到 stream，对于块缓冲的 output，它全部保存在程序内部的缓冲区中，直到填满。 然后一次全部发送。

当通过 Python 脚本运行时，C 程序仅向其块缓冲标准 output 写入大约 15 短行（195 字节），不足以填充其缓冲区。 当进程随后通过信号被终止时，它会立即终止而不刷新缓冲区，因此 Python 脚本永远不会看到 output 中的任何一个。

您可以通过添加fflush(stdout);来解决这个问题紧接在printf()之后。 这可能类似于gdb正在做的事情。