如何使用AWK根据两个文件之间的公共字段删除一个文件上的重复行？

Question

我有两个档案

1. 文件1包含3个字段

2. 文件2包含4个字段

文件1的行数远小于文件2的行数

我想使用以下操作在基于第一个字段的两个文件之间进行比较

如果文件1的任何行的第一个字段出现在文件2的一行的第一个字段中，请不要为文件2打印该行。

任何建议将不胜感激。

Input File 1

 S13109 3739 31082 
 S45002 3800 31873 
 S43722 3313 26638 

Input File 2

 S13109 3738 31081 0 
 S13109 3737 31080 0 
 S00033 3008 29985 0 
 S00033 3007 29984 0 
 S00022 4130 31838 0 
 S00022 4129 31837 0 
 S00188 3317 27372 0 
 S45002 3759 31832 0 
 S45002 3758 31831 0 
 S45002 3757 31830 0 
 S43722 3020 26345 0 
 S43722 3019 26344 0 
 S00371 3737 33636 0 
 S00371 3736 33635 0 

Desired Output

 S00033 3008 29985 0 
 S00033 3007 29984 0
 S00022 4130 31838 0 
 S00022 4129 31837 0 
 S00188 3317 27372 0
 S00371 3737 33636 0 
 S00371 3736 33635 0 

Answer 1

awk 'FNR==NR{a[$1]++;next}!a[$1]' file1 file2

这个怎么运作：

FNR==NR

当您有两个（或多个）要输入到awk的输入文件时， NR将在下一个文件的第一行重置为1，而FNR将从其中断处继续递增。 通过检查FNR==NR我们实际上是在检查是否当前正在解析第一个文件。

a[$1]++

如果我们要解析第一个文件（请参见上文），则创建一个以第一个字段$1为键的关联数组，并将值加1。这实际上使我们可以创建“可见”列表。

next

该命令告诉awk不要再处理任何其他命令，而是读入下一条记录并重新开始。 我们这样做是因为file1仅用于设置关联数组

!a[$1]

仅当FNR==NR为false时才执行此行，即我们不解析file1，因此必须解析file2。 然后，我们使用file2的第一个字段$1作为索引到先前创建的“可见”列表的索引。 如果返回的值为0，则意味着我们在file1中没有看到它，因此我们应该打印此行。 相反，如果该值不为零，那么我们也看到它在文件1，因此，我们不应该打印出它的价值。 请注意， !a[$1]等同于!a[$1]{print}因为未给出默认动作是打印整行。

Answer 2

如果不需要保留行的顺序，则可以在Bash，Korn Shell或Z Shell中使用进程替换以及join和sort实用程序：

join -v 2 <(sort file_1) <(sort file_2)

如果您使用的是不带进程替换的外壳，则必须对文件进行预排序。