uniq排序解析

Question

我有一个文件，其字段用“;”分隔，如下所示：

test;group;10.10.10.10;action2
test2;group;10.10.13.11;action1
test3;group3;10.10.10.10;action3
tes4;group;10.10.10.10;action4
test5;group2;10.10.10.12;action5
test6;group4;10.10.13.11;action8

我想识别所有非唯一的IP地址（第三列）。 对于示例，摘录应为：

test;group;10.10.10.10;action2
test3;group3;10.10.10.10;action3
tes4;group;10.10.10.10;action4
test2;group;10.10.13.11;action1
test6;group4;10.10.13.11;action8

按IP地址排序（第3列）。

使用简单的命令，例如cat ， uniq ， sort ， awk （不是Perl，不是Python，仅是shell）。

任何想法？

Answer 1

$ awk -F';' 'NR==FNR{a[$3]++;next}a[$3]>1' file file|sort -t";" -k3
test;group;10.10.10.10;action2
test3;group3;10.10.10.10;action3
tes4;group;10.10.10.10;action4
test2;group;10.10.13.11;action1
test6;group4;10.10.13.11;action8

• awk选择所有重复的（$ 3）行
• 通过ip排序

Answer 2

您还可以尝试使用grep ， cut ， sort ， uniq和中间的临时进程替换来解决此问题。

grep -f <(cut -d ';' -f3 file | sort | uniq -d) file | sort -t ';' -k3

它不是很优雅（我实际上更喜欢上面给出的awk答案），但是我认为值得分享，因为它可以实现您想要的功能。

Answer 3

这与Kent的答案非常相似，但只需一次通过文件即可。 折衷是内存：您需要存储要保留的行。 这将GNU awk用于PROCINFO变量。

awk -F';' '
    {count[$3]++; lines[$3] = lines[$3] $0 ORS} 
    END {
        PROCINFO["sorted_in"] = "@ind_str_asc"
        for (key in count) 
            if (count[key] > 1) 
                printf "%s", lines[key]
    }
' file

等效的perl

perl -F';' -lane '
    $count{$F[2]}++; push @{$lines{$F[2]}}, $_
  } END {
    print join $/, @{$lines{$_}}
        for sort grep {$count{$_} > 1} keys %count
' file

Answer 4

这是另一个awk辅助管道

$ awk -F';' '{print $0 "\t" $3}' file | sort -sk2 | uniq -Df1 | cut -f1

test;group;10.10.10.10;action2
test3;group3;10.10.10.10;action3
tes4;group;10.10.10.10;action4
test2;group;10.10.13.11;action1
test6;group4;10.10.13.11;action8

单遍，所以特别的缓存； 也保持原始顺序（稳定排序）。 假定选项卡没有出现在字段中。

Answer 5

awk + sort + uniq + cut ：

$ awk -F ';' '{print $0,$3}' <file> | sort -k2 | uniq -D -f1 | cut -d' ' -f1

sort + awk

$ sort -t';' -k3,3 | awk -F ';' '($3==k){c++;b=b"\n"$0}($3!=k){if (c>1) print b;c=1;k=$3;b=$0}END{if(c>1)print b}

awk

$ awk -F ';' '{b[$3"_"++k[$3]]=$0; }
      END{for (i in k) if(k[i]>1) for(j=1;j<=k[i];j++) print b[i"_"j] } <file>

这将缓冲整个文件（与sort相同），并跟踪密钥k出现了多少次。 最后，如果密钥出现的次数多于密钥，则打印完整的密钥。

test2;group;10.10.13.11;action1
test6;group4;10.10.13.11;action8
test;group;10.10.10.10;action2
test3;group3;10.10.10.10;action3
tes4;group;10.10.10.10;action4

如果要排序：

$ awk -F ';' '{b[$3"_"++k[$3]]=$0; }
      END{ asorti(k,l); 
      for (i in l) if(k[l[i]]>1) for(j=1;j<=k[l[i]];j++) print b[l[i]"_"j] } <file>