Perl：STDOUT /直接将shell命令输出到数组

Question

我必须访问一个shell命令-Perl脚本中的hive，所以我使用`...`。 假设“ hive ... ...”的结果包含100000000行，大小为20GB。 我想要实现的是这样的：

@array = `hive ... ...`;

``是否自动知道使用“ \\ n”作为分隔符将每一行划分为@array？

我可以想到的2种方法是（但在这种情况下有问题）：

$temp = `hive ... ...`;
@array = split ( "\n", $temp );
undef $temp;

这种方式的问题是，如果在这种情况下hive的输出太大，则$ temp无法存储输出，从而导致分段故障核心转储。

要么

`hive ... ... 1>temp.txt`;
open ( FP, <, "temp.txt" );
while (<FP>)
{
    chomp;
    push @array, $_;
}
close FP;
`rm temp.txt`;

但是这种方式太慢了，因为它首先将结果写入硬盘。

有没有一种方法可以在不使用任何“临时容器”的情况下直接将shell命令的输出写入数组？

非常感谢您的帮助。

Answer 1

@array = `command`;

实际上，确实将command的输出的每一行都放在其自己的@array元素中。 无需将输出加载到标量并将其自己split 。

但是，存储在阵列中的20GB输出（由于Perl存储数据的方式可能是该输出的2-3倍）仍然会对您的系统造成很大的压力。

解决问题的真正方法是通过IO句柄流式传输命令的输出，并一次处理一行，而不必一次将所有输出加载到内存中。 使用Perl的open命令可以做到这一点：

open my $fh, "-|", "command";
open my $fh, "command |";

-| 文件模式或| 附加在命令后的命令告诉Perl运行外部命令，并在文件句柄$fh提供该命令的输出。

现在，在文件句柄上进行迭代以一次接收一行输出。

while (<$fh>) {
    # one line of output is now in $_
    do_something($_);
}
close $fh;