Grep仅部分重复之一

Question

我已经收集了以下文件：

20130304;114137911;8051;somevalue1
20130304;343268;7591;NA
20130304;379612;7501;somevalue2
20130304;343380;7591;somevalue8
20130304;343380;7591;somevalue9
20130304;343212;7591;NA
20130304;183278;7851;somevalue3
20130304;114141486;8051;somevalue5
20130304;114143219;8051;somevalue6
20130304;343247;7591;NA
20130304;379612;7501;somevalue2
20130308;343380;7591;NA

这是一个; 带4列的分隔文件。 但是，第2列和第3列的组合必须唯一。 由于此数据集具有数百万行，因此我正在寻找一种有效的方法来使每个重复项都首次出现。 因此，我需要部分匹配第2列和第3列的组合，然后选择第一个。

预期结果应为：

20130304;114137911;8051;somevalue1
20130304;343268;7591;NA
20130304;379612;7501;somevalue2
20130304;343380;7591;somevalue8
20130304;343380;7591;somevalue9 #REMOVED
20130304;343212;7591;NA
20130304;183278;7851;somevalue3
20130304;114141486;8051;somevalue5
20130304;114143219;8051;somevalue6
20130304;343247;7591;NA
20130304;379612;7501;somevalue2 #REMOVED
20130308;343380;7591;NA #$REMOVED

我自己做了几次尝试。 第一个是：

grep -oE "\;(.*);" orders_20130304to20140219_v3.txt | uniq

但是，这仅选择第2列和第3列，并删除所有其他数据。 此外，它不考虑稍后发生的匹配。 我可以通过添加sort来解决此问题，但我不希望进行排序。

另一个尝试是：

awk '!x[$0]++' test.txt

这不需要任何排序，但是会匹配整行。

我认为第二次尝试已接近完成，但是需要更改它以便仅查看第二和第三列而不是整行。 有人知道如何将其合并吗？

Answer 1

干得好：

awk -F';' '!a[$2 FS $3]++' file

测试您的数据：

kent$  awk -F';' '!a[$2 FS $3]++' f 
20130304;114137911;8051;somevalue1
20130304;343268;7591;NA
20130304;379612;7501;somevalue2
20130304;343380;7591;somevalue8
20130304;343212;7591;NA
20130304;183278;7851;somevalue3
20130304;114141486;8051;somevalue5
20130304;114143219;8051;somevalue6
20130304;343247;7591;NA