是否有 function 从两个文件的比较中提取行的唯一差异？

Question

好的，所以我有一个文件，我们称之为file1.txt 。 它有 5000 行，而我的file2.txt有 2,000,000 行。

我运行了以下命令： comm -23 <(sort file2.txt) <(sort file1.txt) > file3.txt

我现在有 1,996,000 行的file3.txt 。 我想提取file1.txt包含的 1000 个唯一行。 这怎么可能？

我试过： comm -23 <(sort file1.txt) <(sort file3.txt) > file4.txt无济于事。 file4.txt没有被过滤，它是file1.txt的副本

提前致谢。

PS：我使用的是cygwin，所以某些功能可能会受到限制。 非常感谢

Answer 1

使用 awk 获取file1的唯一行。 首先是一些测试数据（评论不是数据的一部分）：

文件1：

1  # unique in file1 so this is what we want
2  # common in file1 and file2

文件2：

2  # common in file1 and file2
3  # unique in file2

awk：

$ awk '
NR==FNR {         # process file1
    a[$0]         # hash all records
    next
}                 # process file2 below this point
($0 in a) {       # if common entry found in hash
    delete a[$0]  # delete it from the hash
}
END {             # in the end
    for(i in a)   # loop all leftovers
        print i   # and output them
}' file1 file2    # mind the order

Output：

1

由于实施问题，Output 将没有任何有意义的顺序。

Answer 2

从表面上看，问题在于使用 file3 从 file1 中提取唯一行。 鉴于 file3 只有 file2 的唯一行，最后一个comm （file1 和 file3）不会从 file1 中删除任何数据

改为考虑：

comm -23 <(sort -t: -u file1.txt) <(sort -t: -u file2.txt)

Answer 3

grep -F -x -f file1.txt file3.txt.

完全披露：- 在这里找到了这个答案。