如何使用grep从文件输出唯一的代码行？

Question

我有一个大型日志文件，其中包含以下行：

82.117.22.206 - - [08/Mar/2013:20:36:42 +0000] "GET /key/0/www.mysite.org.uk/ HTTP/1.0" 200 0 "-" "-"

我想从与上述模式匹配的每一行中仅提取IP 82.117.22.206后跟一个空格和文本www.mysite.org.uk 。 ip和文本可以不同。 因此，鉴于上述行，输出文件中的行将为：

82.117.22.206 www.mysite.org.uk

如何在bash中使用grep或其他命令使输出唯一，以使输出文件不会包含两行相同的行？ 有人可以将我引到一个不错的地方来开始学习更多有关这种shell脚本的信息吗？

Answer 1

使用perl，您可以捕获零件

use strict;
use warnings;

if (m/^(\d+\.\d+\.\d+\.\d+)\s+-\s+-\s+\[.+?\]\s+\"GET\s+\/key\/0\/(.+?)\//) {
    print "$1 $2\n";
}

并称其为

perl -n script.pl logfile.txt | sort -u

这将提取所需的字段，进行排序并消除重复的行。

Answer 2

如果您知道要使用的正则表达式，则可以执行以下操作：

echo "Hello World" | grep "Hell" | sed 's/\(Hell\).*\(World\)/\1 \2/'

只是，您需要记录日志，而不是回显字符串。

Answer 3

grep -Po "^[\d.]*|[^/]*(?=/ HTTP)" file|sed 'N;s/\n/ /'