排序并从文件中删除unix中的重复项

Question

下面是我的输入文件，但是我的实际输入有数百万条记录，

004,shan@gmail.com,TAT,0582,live,20180622 06:27:47
004,bb@gmail.com,TAT,0588,live,20180622 06:27:27
004,shan@gmail.com,TAT,0562,live,20180622 06:27:59
004,aa@gmail.com,TAT,0582,inlive,20180622 06:27:47
006,dd@gmail.com,TAT,0582,live,20180622 06:27:47
004,tr@gmail.com,TAT,0582,live,20180622 06:27:47

首先，我想使用第二列（电子邮件）的升序对上述文件进行排序，其次，我想使用第六列（时间戳）的降序对文件进行排序。 第三，我需要删除重复的第二列。

预期产量：

004,aa@gmail.com,TAT,0582,inlive,20180622 06:27:47
004,bb@gmail.com,TAT,0588,live,20180622 06:27:27
006,dd@gmail.com,TAT,0582,live,20180622 06:27:47
004,shan@gmail.com,TAT,0562,live,20180622 06:27:59
004,tr@gmail.com,TAT,0582,live,20180622 06:27:47

我尝试了什么，但是我想用单个命令而不是不同的步骤来做所有事情，而且-u不能正确地执行重复删除？

sort -t$'," -k2 pp.txt > pp1.txt
sort -t$'," -k6 -r pp1.txt > pp2.txt
sort -t$'," -k2 -u pp2.txt > pp3.txthere

请帮忙

Answer 1

您应该这样做：

sort -t, -u -k2,2 pp.txt

结果是：

004,aa@gmail.com,TAT,0582,inlive,20180622 06:27:47
004,bb@gmail.com,TAT,0588,live,20180622 06:27:27
006,dd@gmail.com,TAT,0582,live,20180622 06:27:47
004,shan@gmail.com,TAT,0582,live,20180622 06:27:47
004,tr@gmail.com,TAT,0582,live,20180622 06:27:47

Answer 2

使用gnu awk您可以在一个命令中执行此操作：

awk -F, 'BEGIN{PROCINFO["sorted_in"] = "@ind_str_asc"}
!($2 in ts) || $6 > ts[$2] { ts[$2]=$6; row[$2]=$0 }
END { for (i in row) print row[i] }' file

004,aa@gmail.com,TAT,0582,inlive,20180622 06:27:47
004,bb@gmail.com,TAT,0588,live,20180622 06:27:27
006,dd@gmail.com,TAT,0582,live,20180622 06:27:47
004,shan@gmail.com,TAT,0562,live,20180622 06:27:59
004,tr@gmail.com,TAT,0582,live,20180622 06:27:47

条件!($2 in ts) || $6 > ts !($2 in ts) || $6 > ts有2个带有OR子句的子条件。 第一个条件意味着如果$2作为键不存在于名为ts数组中，第二个条件意味着如果$2存在，则当前时间戳或$6大于数组中存在的时间戳 （ 从而使我们可以为$2相同值存储最大时间戳在最后的数组中）

Answer 3

您能否尝试遵循并让我知道这是否对您有帮助。

sort -t, -k2,2 -k6,6nr   Input_file | awk -F, '!a[$2]++'

Answer 4

GNU sort ：

sort -t, -k2,2 -k6,6nr -u pp.txt

输出：

004,aa@gmail.com,TAT,0582,inlive,20180622 06:27:47
004,bb@gmail.com,TAT,0588,live,20180622 06:27:27
006,dd@gmail.com,TAT,0582,live,20180622 06:27:47
004,shan@gmail.com,TAT,0582,live,20180622 06:27:47
004,tr@gmail.com,TAT,0582,live,20180622 06:27:47