从伪终端中的本地进程超时读取

Question

例如，我想阅读“tcpdump”打印的第一行：

tcpdump: listening on eth0, link-type EN10MB (Ethernet), capture size 262144 bytes

使用“ptyprocess”（上下文：本地进程，涉及终端）和 select() 等待超时的新数据：

import logging
from ptyprocess import PtyProcess
from select import select

logging.basicConfig(
    level=logging.DEBUG,
    format="%(asctime)s %(name)s %(message)s")

pty_process = PtyProcess.spawn(
    argv=["sudo", "tcpdump", "-w", "capture.pcap", "-i", "enp0s3"],
    echo=True)
while True:
    rlist, _, _ = select([pty_process.fd], [], [], 1)
    if pty_process.fd in rlist:
        try:
            data = pty_process.read(1)
        except EOFError:
            logging.debug("EOF")
            break
        logging.debug("read: %r", data)
    else:
        logging.debug("timeout")

对于 Python 3.x（使用 3.6.10 和 3.8.1 测试），此代码读取由“tcpdump”打印的上述行。

对于 Python 2.x（用 2.7.17 测试），此代码仅读取第一个字符“t”，然后 select() 超时。 我还观察到，第一次运行时，读取了多个字符，但不是全部。

在 Debian 10 上测试。

在读取 Python 2 中的下一个字符之前，如何使用带有超时（或类似内容）的 select() 和“ptyprocess”来等待新数据？

更新 1：

strace 显示以下差异：

Python 2：

select(6, [5], [], [], {tv_sec=1, tv_usec=0}) = 1 (in [5], left {tv_sec=0, tv_usec=999993})
read(5, "tcpdump: listening on enp0s3, li"..., 8192) = 86

Python 3：

select(6, [5], [], [], {tv_sec=1, tv_usec=0}) = 1 (in [5], left {tv_sec=0, tv_usec=999994})
read(5, "t", 1)                         = 1

IE。 对于 Python 2，调用 read(..., 8192)，对于 Python 3，调用 read(..., 1)。 我怎样才能实现，对于 Python 2 也调用 read(..., 1) ？

更新 2：

该问题与“tcpdump”无关，也可以像这样重现：

import logging
from ptyprocess import PtyProcess
from select import select

logging.basicConfig(
    level=logging.DEBUG,
    format="%(asctime)s %(name)s %(message)s")

pty_process = PtyProcess.spawn(
    argv=["bash", "-c", "echo 123 ; sleep 3"],
    echo=True)
while True:
    rlist, _, _ = select([pty_process.fd], [], [], 1)
    if pty_process.fd in rlist:
        try:
            data = pty_process.read(1)
        except EOFError:
            logging.debug("EOF")
            break
        logging.debug("read: %r", data)
    else:
        logging.debug("timeout")

Python 2 output：

2020-04-23 12:51:27,126 root read: '1'
2020-04-23 12:51:28,193 root timeout
2020-04-23 12:51:29,204 root timeout
2020-04-23 12:51:30,129 root read: '2'
2020-04-23 12:51:30,129 root read: '3'
2020-04-23 12:51:30,129 root read: '\r'
2020-04-23 12:51:30,130 root read: '\n'
2020-04-23 12:51:30,130 root EOF

Python 3 output：

2020-04-23 12:51:23,106 root read: b'1'
2020-04-23 12:51:23,107 root read: b'2'
2020-04-23 12:51:23,107 root read: b'3'
2020-04-23 12:51:23,107 root read: b'\r'
2020-04-23 12:51:23,107 root read: b'\n'
2020-04-23 12:51:24,109 root timeout
2020-04-23 12:51:25,109 root timeout
2020-04-23 12:51:26,109 root EOF

Answer 1

PtyProcess.read()调用self.fileobj.read1() 。 PtyProcess.fileobj的类型为BufferedRWPair 。 BufferedRWPair.read1()委托给BufferedRWPair.reader.read1() 。 BufferedRWPair的构造函数从参数reader创建一个BufferedReader object 。

在 Python 2.7.16 Modules/_io/bufferedio.c/buffered_read1()调用_bufferedreader_fill_buffer(self) ，它会：

len = self->buffer_size - start;
n = _bufferedreader_raw_read(self, self->buffer + start, len);

在 Python 3.8.1 Modules/_io/bufferedio.c/_io__Buffered_read1_impl()调用中：

r = _bufferedreader_raw_read(self, PyBytes_AS_STRING(res), n);

换句话说，在 Python 3 BufferedReader.read1(n)中，原始读取 n 个字节，而在 Python 2 中，它读取更多字节来填充缓冲区。

不能像问题中发布的代码那样使用适用于缓冲区的 read(1) 与适用于底层文件描述符的select() 。

以下代码使用 pexpect 而不是 ptyprocess，允许读取超时：

import logging
import pexpect

logging.basicConfig(
    level=logging.DEBUG,
    format="%(asctime)s %(name)s %(message)s")

child = pexpect.spawn("bash -c 'echo 123 ; sleep 3'")
while True:
    try:
        data = child.read_nonblocking(size=1, timeout=1)
        logging.debug("read: %r", data)
    except pexpect.TIMEOUT:
        logging.debug("timeout")
    except pexpect.EOF:
        logging.debug("EOF")
        break

Output：

2020-04-26 14:54:56,006 root read: '1'
2020-04-26 14:54:56,007 root read: '2'
2020-04-26 14:54:56,007 root read: '3'
2020-04-26 14:54:56,007 root read: '\r'
2020-04-26 14:54:56,007 root read: '\n'
2020-04-26 14:54:57,009 root timeout
2020-04-26 14:54:58,010 root timeout
2020-04-26 14:54:59,008 root EOF