bash根据序列号删除最后的重复文件

Question

HY，

我试图删除文件夹中的某些重复文件（大约50000个文件），这些文件具有相同的名称，但唯一不同的是末尾的序列号：

aaaaaaaaaa.ext.84837384
aaaaaaaaaa.ext.44549388
aaaaaaaaaa.ext.22134455
bbbbbbbbbb.ext.11244355
bbbbbbbbbb.ext.88392456

我想根据序列号的最小值删除重复文件（.aaaaaaaaaaa.ext保留为.22134455，bbbbbbbbbbb保留为.11244355）

我提到我的文件夹中有很多文件〜50.000个文件，并且基于大小和md5的排序和过滤将像永远一样。

我尝试find -not -empty -type f -printf "%s\\n" | sort -rn | uniq -d | xargs -I{} -n1 find -type f -size {}c -print0 | xargs -0 md5sum | sort | uniq -w32 --all-repeated=separate find -not -empty -type f -printf "%s\\n" | sort -rn | uniq -d | xargs -I{} -n1 find -type f -size {}c -print0 | xargs -0 md5sum | sort | uniq -w32 --all-repeated=separate find -not -empty -type f -printf "%s\\n" | sort -rn | uniq -d | xargs -I{} -n1 find -type f -size {}c -print0 | xargs -0 md5sum | sort | uniq -w32 --all-repeated=separate但是要永远占用。

非常感谢你

Answer 1

用这个

find . -name '*.ext.*' -print0 | sort -z | awk -v RS='\0' -F. '{fn=$0; num=$NF; $NF=""; if(a[$0]){printf "%s\0", fn};a[$0]++;}' | xargs -n 100 -0 rm -f

说明：

1. find . -name '*.ext.*' -print0 find . -name '*.ext.*' -print0 ：打印以空字符分隔的文件名。
2. sort -z ：排序零分隔的条目。
3. awk ：用空字符分隔记录，用a分隔字段. 。 删除最后一个字段-数字并记住剩余的文件名。 除第一个条目外，打印其他文件名，以空字符分隔。
4. xargs -0 ：在stdin和rm -f上接收由空字符分隔的文件名。

假设：所有文件都在当前目录中。

如果有子目录，并且要跳过它们，请添加-maxdepth 1选项来查找命令。

Answer 2

该脚本将删除所在目录中的所有重复文件。

按文件名列出和排序文件，序列号将用于对重复项进行排序，如果已经“访问过”文件，则将其删除，否则只需将文件名减去序列保存在一个临时变量中。

#!/bin/bash

tmp_filename=

for full_filename in `ls | sort`; do
    filename=$(basename "$full_filename")
    extension="${filename##*.}"
    filename="${filename%.*}"

    if [[ "$tmp_filename" == "$filename" ]]; then
        rm "$full_filename"
    else
        tmp_filename="$filename"
    fi
done