如何删除多个文件的重复行？

Question

我在不同的目录和子目录中有以下名称的7个文件

tag0.txt, tag1.txt, tag2.txt, tag3.txt, tag01.txt, tag02.txt and tag03.txt

其中一些文件具有重复的行。 如何删除duplicated rows ？ 请注意，每个文件中的行均未排序，并且每个文件的长度范围为500至1000行。

任何帮助将非常感激。

谢谢

Answer 1

假设您要基于每个文件删除重复项，则以下内容不需要排序的文件，因此不会弄乱行的顺序：

awk '!a[$0]++' infile > outfile

由于您的文件似乎位于不同的目录中，因此手动执行该命令7次可能是最简单的。 如果您确实想要，则可以像这样循环：

#!/bin/sh

for file in /path/to/file1 /path/to/file2 ... /path/to/file7; do
    awk '!a[$0]++' "$file" > "$file".new && \
    mv "$file".new "$file"
done

Answer 2

使用sort和uniq命令，它们是unix实用程序

cat "your files" | sort | uniq

Answer 3

注意，确实会“直接”更改文件（就地编辑）。

perl -i -ne 'print if not $seen{$ARGV}{$_}++' file1 file2 file3 ...

Answer 4

bash 4.0 ++

shopt -s globstar
for file in **/tag*.txt
do
    sort $file|uniq > t && mv t $file
done