python：读取具有非ascii名称的二进制文件

Question

我尝试制作一个脚本，该脚本在文件夹中搜索重复文件，然后将其返回到像这样的字典中：{filehash1：[dirfile1，dirfile2]，filehash2：[dirfile3]}（dirfile1和dirfile2同一文件的名称/位置不同）

第一个代码：

import glob
import hashlib

def getallfolders(dir):
    print dir+"*\\"
    folders = glob.glob(dir+"*\\")
    return folders

def getallfiles(dir):
    folders = glob.glob(dir+"*.*")
    return folders


def filehash(file):
    BLOCKSIZE = 65536
    hasher = hashlib.sha1()
    with open(file, 'rb') as afile:
        buf = afile.read(BLOCKSIZE)
        while len(buf) > 0:
            hasher.update(buf)
            buf = afile.read(BLOCKSIZE)
    return hasher.hexdigest()


def double_files(dir):
    mil = {}
    folders = getallfolders(dir)
    for folder in folders:
        mil.update(double_files(folder))
    files = getallfiles(dir)
    for file in files:
        fhash = filehash(file)
        if fhash in mil.keys():
            mil[fhash] = mil[fhash] + [file]
        else:
            mil[fhash] = [file]
    return mil



print double_files("E:\\not organised\\")

但是，如果我尝试运行它，它将崩溃并显示错误

IOError: [Errno 2] No such file or directory: file

造成这种情况的原因是，并非所有文件的名称都是英文，所以我尝试对其进行修复，现在代码如下所示：

# -*- coding: utf-8 -*-
import glob
import hashlib
import codecs

def getallfolders(dir):
    print dir+"*\\"
    folders = glob.glob(dir+"*\\")
    return folders

def getallfiles(dir):
    folders = glob.glob(dir+"*.*")
    return folders



def filehash(file):
    BLOCKSIZE = 65536
    hasher = hashlib.sha1()
    file = file.decode("utf8")
    with codecs.open(file, "rb", encoding="utf8") as afile:
        buf = afile.read(BLOCKSIZE)
        while len(buf) > 0:
            buf = buf.encode("ISO-8859-1")
            hasher.update(buf)
            buf = afile.read(BLOCKSIZE)
    return hasher.hexdigest()

def double_files(dir):
    mil = {}
    folders = getallfolders(dir)
    for folder in folders:
        mil.update(double_files(folder))
    files = getallfiles(dir)
    for file in files:
        fhash = filehash(file)
        if fhash in mil.keys():
            mil[fhash] = mil[fhash] + [file]
        else:
            mil[fhash] = [file]
    return mil



print double_files("E:\\not organised\\")

我添加# -*- coding: utf-8 -*-并将with open(file, 'rb') with open(file, encoding='utf-8')但现在我得到了错误：

UnicodeDecodeError: 'utf8' codec can't decode byte .. in position ..: Tnvalid start byte

（..表示它并不总是相同的）它在buf = afile.read(BLOCKSIZE)行中buf = afile.read(BLOCKSIZE)我知道文件已打开，但是当我尝试使用读取功能时，它因该错误而崩溃。 而且我不知道如何解决...请帮助。

Answer 1

您似乎对编码很困惑...

• # -*- coding: utf-8 -*-仅适用于代码中的非ascii 乱码 。

• file = file.decode("utf8")将字符串file （最好命名为filename ）从utf-8解码为unicode。 当然，这仅在文件系统的编码（文件和文件夹名称）为utf-8（或更确切地说，只要所有文件和文件夹名称都可解释为有效的utf-8）时才有效。 当然，它不会对文件的内容产生太大影响。

• codecs.open(file, "rb", encoding="utf8") ：仅当文件的内容实际上是一些utf-8编码的文本时才有意义，并且显然您正在读取任何类型的二进制数据，因此它不是如果您收到虚假的编码错误，将感到惊讶。

• buf.encode("ISO-8859-1") ：只是毫无用处， hashlib.sha1()在utf-8上可以正常工作。

简而言之：您的“修正” 都没有道理。

回到问题的根源：

IOError：[Errno 2]没有这样的文件或目录：file引起的原因是，并非所有文件的名称都是英文

我真的认为您在这里承担了太多的责任-如果您通过浏览文件系统获得了非ASCII（非英语）文件名，那么您的文件系统应支持这种非ASCII编码（嗯，这是Windows，因此可能会有一些特殊的事情发生）在这里，但我可以告诉您，我在Linux和MacOS上都从未遇到过这样的问题。 在最坏的情况下，如果您肯定“非英语”（实际上是非ASCII）文件名是utf8，则可以仅尝试使用file = file.decode('utf-8')来查看其效果是否更好，但仍然可以偶然编程 。

实际上，由于您没有发布有效的回溯（带有完整的文件名），因此很难说出原始代码到底出了什么问题，因此，最好的选择当然是切换回第一个实现并仔细阅读完整的回溯。 然后，您可以使用交互式Python Shell或步骤调试器进一步检查问题。

哦，是的：我假设您使用的是Python 2.x-Python 3处理的编码略有不同。

Answer 2

因此，在我阅读了大家写的内容之后，我理解了我的问题，并且这次确实修复了代码，并且工作正常（发现了我没有注意到的字典问题）。

import hashlib
from os import listdir
from os.path import isfile, join
import os


def getallfolders(dir):
    folders = [d for d in os.listdir(dir) if os.path.isdir(os.path.join(dir, d))]
    return folders


def getallfiles(dir):
    folders = [f for f in listdir(dir) if isfile(join(dir, f))]
    return folders


def filehash(file):
    BLOCKSIZE = 65536
    hasher = hashlib.sha1()
    with open(file, "rb") as afile:
        buf = afile.read(BLOCKSIZE)
        while len(buf) > 0:
            hasher.update(buf)
            buf = afile.read(BLOCKSIZE)
    return hasher.hexdigest()


def double_files(dir):
    print dir
    mil = {}
    folders = getallfolders(dir)
    for folder in folders:
        newmil = double_files(dir + folder + "\\")
        for i in newmil:
            if i in mil.keys():
                mil[i] = mil[i] + newmil[i]
            else:
                mil[i] = newmil[i]
    files = getallfiles(dir)
    for file in files:
        fhash = filehash(dir + file)
        if fhash in mil.keys():
            mil[fhash] = mil[fhash] + [dir + file]
        else:
            mil[fhash] = [dir + file]
    return mil


mil = double_files(u"E:\\not organised\\")
f = open('double_files.txt', 'w')
for i in mil:
    if len(mil[i]) > 1:
        for y in mil[i]:
            f.write(y.encode('utf8')+"\n")
        f.write("\n\n")
f.close()