结合`sort -n -u -k`和`uniq -c`的行为的命令

Question

我有一个多字段文本文件。 我想有一个将sort -n -u -k和uniq -c两种行为都结合在一起的命令-也就是说，对某个特定密钥文件进行排序，并提供前缀或延迟到的重复项数原始行。 此刻，我要么对某个键进行排序，然后使用sort -n -u -k获得没有重复数的重复行的第一行，或者通过提取键字段来对uniq -c进行计数。

您可以建议同时实现两种行为的命令吗？

文件的示例（键列可以是指定的任何列）：

       4549              1       22656489       63452157           3235           1116            612         532275        6009800         534075        6012488         477375        5995844         533175        6011144        8388615            236
       4549              2       22656489       63452158           3214           1116            613         532275        6009825         534075        6012488         477375        5995831         533175        6011157        8388615            236
       4549              3       22656489       63452159           3193           1116            614         532275        6009850         534075        6012488         477375        5995819         533175        6011169        8388615            236
       4549              4       22656489       63452160           3173           1116            615         532275        6009875         534075        6012488         477375        5995806         533175        6011182        8388615            235
       4549              5       22656489       63452161           3152           1116            616         532275        6009900         534075        6012488         477375        5995794         533175        6011194        8388615            235
       4549              6       22656489       63452162           3131           1116            617         532275        6009925         534075        6012488         477375        5995781         533175        6011207        8388615            235
       4549              7       22656489       63452163           3111           1116            618         532275        6009950         534075        6012488         477375        5995769         533175        6011219        8388615            235
       4549              8       22656489       63452164           3091           1116            619         532275        6009975         534075        6012488         477375        5995756         533175        6011232        8388615            234
       4549              9       22656489       63452165           3070           1116            620         532275        6010000         534075        6012488         477375        5995744         533175        6011244        8388615            234
       4549             10       22656489       63452166           3050           1116            621         532275        6010025         534075        6012488         477375        5995731         533175        6011257        8388615            234
       4549             11       22656489       63452167           3030           1116            622         532275        6010050         534075        6012488         477375        5995719         533175        6011269        8388615            234

Answer 1

据我目前的了解，您想指定一个或多个列用作键，并获得一个结果，每个输出行都显示该键的多重性。 在这种情况下，假设您的数据在名为“ data”的文件中，并且我们希望将列17作为键：

$ awk '{print $17}' data  | sort -n | uniq -c
  4 234
  4 235
  3 236

因此，在测试数据中，列236中的236值总共出现3次。 或者，假设您希望将第6、8、1和3列作为键（并按此顺序）：

$ awk '{print $6,$8,$1,$3}' data  | sort -n | uniq -c
 11 1116 532275 4549 22656489

对于此密钥，所有11行都是dups。

此方法包含三个步骤。 首先，我们以所需的顺序awk选择所需的列。 其次， sort -n按键对它们进行数字sort -n 。 最后， uniq计算重复项。

更新：假设，如上所述，我们希望使用第6、8、1和3列作为键，但是根据您的评论，我们希望保留原始行之一。 在这种情况下，我们指示awk将原始的17列放在键之前，告诉排序对键进行排序（列18+），然后指示uniq忽略前17列：

awk '{print $0,$6,$8,$1,$3}' data  | sort -k18 -n | uniq -f 17 -c

对于您的样本数据，这将导致：

     11        4549             10       22656489       63452166           3050           1116            621         532275        6010025         534075        6012488         477375        5995731         533175        6011257        8388615            234 1116 532275 4549 22656489

如果只希望打印原始的17列，那么我们可以使用perl仅显示前17列并裁剪掉键：

awk '{print $0,$6,$8,$1,$3}' data  | sort -k18 -n | uniq -f 17 -c | perl -nle '@a=split;print join " ", @a[0..17]'

结果是：

11 4549 10 22656489 63452166 3050 1116 621 532275 6010025 534075 6012488 477375 5995731 533175 6011257 8388615 234

Answer 2

使用decorate-sort-undecorate ，您可以将要作为处理基础的字段添加到数据中，进行处理并删除多余的字段。 例如，对字段17和5进行排序：

awk '{print $0 OFS $17 OFS $5}' test_s  | sort -n -k18 -k19  | uniq -c -f17 | awk '{NF=18;print}'

首先添加关键字段，然后对它们进行sort和uniq ，然后仅保留uniq和原始字段添加的计数。