Bash：如何为ssh命令实时过滤tee输出？

Question

我的目标是为我的ssh会话中使用的命令创建一个带时间戳的日志。

只要输出未被过滤，Tee就可以实时工作。 当我tail -F test.log时，以下命令实时附加输出：

#!/bin/bash
ssh "$@" | tee -a test.log

但是，当我尝试通过此问题中建议的方法修改tee的输出时，输出不再是实时的。 例如：

#!/bin/bash
ssh "$@" | tee >(grep -e '.*\@.*\:.*\$.*' --color=never >> test.log)

奇怪的是，如果我用“yes”命令代替ssh命令，则输出会被实时过滤。

实时处理非常重要，因为我的脚本需要为每一行附加当前时间戳并删除尽可能多的输出。 到目前为止，这是我的脚本：

#!/bin/bash
logfile=~/test.log
desc="sshlog ${@}"
tab="\t"
format_line() {
    while IFS= read -r line; do
        echo "$(date +"%Y-%m-%d %H:%M:%S %z")${tab}${desc}${tab}${line}"
    done
}
echo "[START]" | format_line >> $logfile
ssh "$@" | tee >(grep -e '.*\@.*\:.*\$.*' --color=never | format_line >> $logfile)
echo "[END]" | format_line >> $logfile

我该如何解决这个问题，为什么ssh命令与tee的行为不同于yes命令？

Answer 1

问题很可能是grep正在缓冲其输出 - 选择大块输入，过滤它们并输出结果 - 因此它yes平滑地处理yes的输出（因为yes的，它会快速生成大量输入以进行过滤和输出） ，而你的ssh命令可能不会产生尽可能快的输出。

许多版本的grep提供了一种调整缓冲的机制。 由于你使用的是Linux，你可能会使用GNU Grep，它为此提供了一个--line-buffered标志（参见GNU Grep手册的“其他选项”部分 ），这样输出就可以缓冲一个一次一行：

ssh "$@" | tee >(grep -e '.*\@.*\:.*\$.*' --color=never --line-buffered >> test.log)