[英]awk creating column holding number of duplicates based on specific columns data
在以下data.txt文件中,第二和第三列中的值在几行中重复(尽管行不相同):
cat data.txt >
Julie Andrews jand 109
Julie Andrews jand 119
John Thomas jd 301
Alex Tremble atrem 415
Alex Tremble atrem 3415
Alan Tremble atrem 215
John Tomas jd 302
John Tomas jd 3302
John Tomas jd 3402
John Tomas jd 33302
Alex Trebe atrem 416
如何在第2列和第3列的基础上每行增加第5列以指定最大重复次数? 例如所需的输出如下所示:
cat desired.output.txt >
Julie Andrews jand 109 2
Julie Andrews jand 119 2
John Thomas jd 301 1
Alex Tremble atrem 415 3
Alex Tremble atrem 3415 3
Alan Tremble atrem 215 3
John Tomas jd 302 4
John Tomas jd 3302 4
John Tomas jd 3402 4
John Tomas jd 33302 4
Alex Trebe atrem 416 1
当前,我有以下命令,该命令为每个副本创建一个简单的计数器(但是,这不是所需的输出):
awk -F "\t" '{OFS="\t"}{print $0,++cnt[$2,$3]}' data.txt
Julie Andrews jand 109 1
Julie Andrews jand 119 2
John Thomas jd 301 1
Alex Tremble atrem 415 1
Alex Tremble atrem 3415 2
Alan Tremble atrem 215 3
John Tomas jd 302 1
John Tomas jd 3302 2
John Tomas jd 3402 3
John Tomas jd 33302 4
Alex Trebe atrem 416 1
对于未排序的文件,最简单的方法是对输入文件进行两次扫描
$ awk -v OFS='\t' 'NR==FNR {count[$2,$3]++; next}
{print $0, count[$2,$3]}' file{,}
Julie Andrews jand 109 2
Julie Andrews jand 119 2
John Thomas jd 301 1
Alex Tremble atrem 415 3
Alex Tremble atrem 3415 3
Alan Tremble atrem 215 3
John Tomas jd 302 4
John Tomas jd 3302 4
John Tomas jd 3402 4
John Tomas jd 33302 4
Alex Trebe atrem 416 1
如果文件已排序或太大,则可以收集所有条目并在上下文更改时打印计数。
ps。 请注意, file{,}
是file file
处理两次相同文件的bash简写形式。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.