Bash 终端：仅将特定行写入日志文件

Question

我正在使用大量终端 output 运行模拟，如果我将其保存到日志文件（例如通过“cmd > logfile”），这将超出我的磁盘空间。 现在我想关注整个终端 output，但同时我想将这个 output 中的特定数据/行/值保存到文件中。

1）在bash中有没有办法做到这一点？

2）或者作为替代方案：是否可以保存日志文件，提取所需的数据，然后删除已处理的行以避免生成巨大的日志文件？

Answer 1

如果您只想将包含mypattern的 output 保存到logfile中，但您希望在终端查看所有 output，您可以发出：

cmd 2>&1 | tee /dev/tty | grep 'mypattern' > logfile

I also assumed that the output of cmd may be directed to the standard output stream as well as to the standard error stream, by adding 2>&1 after cmd .

Answer 2

您使用什么标准来决定保留哪些行？

1

一种常见的过滤器是只存储标准错误。

cmdlist 2>logfile # stdout still to console

2

对于更复杂的过滤器，如果您想要将特定模式保存到日志中，您可以使用sed 。 这是一个简单的例子 -

seq 1 100 | sed '/.*[37]$/w tmplog'

这将生成从 1 到 100 的数字并将它们全部发送到控制台，但会将所有以3或7结尾的数字捕获到tmplog 。 它还可以接受更复杂的命令列表，以帮助您更全面 -

seq 1 100 | sed '/.*[37]$/w 37.log
                 /^2/w 37.log'

c.f. sed手册了解更详细的故障。

您可能还需要错误 output，因此最好也保存它。

seq 1 100 2>errlog | sed '/.*[37]$/w patlog'

3

对于更复杂的节省空间计划，创建一个名为 pipe 的文件，并在后台进程中压缩日志。

$: mkfifo transfer               # creates a queue file on disk that 
$: gzip < transfer > log.gz &    # reads from FIFO in bg, compresses to log
$: seq 1 100 2>&1 | tee transfer # tee writes one copy to stdout, one to file

这将显示所有 output，但也会将副本复制到命名的 pipe； gzip将从名为 pipe 的文件中读取并压缩它。

3b

如果需要，您可以用sed替换tee ，以减少双浸空间 -

$: mkfifo transfer               
$: gzip < transfer > log.gz &
$: seq 1 100 2>&1 | sed '/.*[37]$/w transfer'

我真的不推荐这个，因为你可能会过滤掉你没有意识到你需要的东西。