![](/img/trans.png)
[英]How can I create a hash of a directory in Linux in Shell or Python?
[英]How can I calculate a hash for a filesystem-directory using Python?
我正在使用此代码来计算文件的哈希值:
m = hashlib.md5()
with open("calculator.pdf", 'rb') as fh:
while True:
data = fh.read(8192)
if not data:
break
m.update(data)
hash_value = m.hexdigest()
print hash_value
当我在文件夹“文件夹”上尝试时,我得到了
IOError: [Errno 13] Permission denied: folder
如何计算文件夹的哈希值?
使用 checksumdir python 包可用于计算目录的校验和/哈希。 它可在https://pypi.python.org/pypi/checksumdir/1.0.5 获得
用法 :
import checksumdir
hash = checksumdir.dirhash("c:\\temp")
print hash
这是一个使用 pathlib.Path 而不是依赖 os.walk 的实现。 它在迭代之前对目录内容进行排序,因此它应该可以在多个平台上重复。 它还使用文件/目录的名称更新哈希,因此添加空文件和目录将更改哈希。
带有类型注释的版本(Python 3.6 或更高版本):
import hashlib
from _hashlib import HASH as Hash
from pathlib import Path
from typing import Union
def md5_update_from_file(filename: Union[str, Path], hash: Hash) -> Hash:
assert Path(filename).is_file()
with open(str(filename), "rb") as f:
for chunk in iter(lambda: f.read(4096), b""):
hash.update(chunk)
return hash
def md5_file(filename: Union[str, Path]) -> str:
return str(md5_update_from_file(filename, hashlib.md5()).hexdigest())
def md5_update_from_dir(directory: Union[str, Path], hash: Hash) -> Hash:
assert Path(directory).is_dir()
for path in sorted(Path(directory).iterdir(), key=lambda p: str(p).lower()):
hash.update(path.name.encode())
if path.is_file():
hash = md5_update_from_file(path, hash)
elif path.is_dir():
hash = md5_update_from_dir(path, hash)
return hash
def md5_dir(directory: Union[str, Path]) -> str:
return str(md5_update_from_dir(directory, hashlib.md5()).hexdigest())
没有类型注释:
import hashlib
from pathlib import Path
def md5_update_from_file(filename, hash):
assert Path(filename).is_file()
with open(str(filename), "rb") as f:
for chunk in iter(lambda: f.read(4096), b""):
hash.update(chunk)
return hash
def md5_file(filename):
return md5_update_from_file(filename, hashlib.md5()).hexdigest()
def md5_update_from_dir(directory, hash):
assert Path(directory).is_dir()
for path in sorted(Path(directory).iterdir()):
hash.update(path.name.encode())
if path.is_file():
hash = md5_update_from_file(path, hash)
elif path.is_dir():
hash = md5_update_from_dir(path, hash)
return hash
def md5_dir(directory):
return md5_update_from_dir(directory, hashlib.md5()).hexdigest()
如果您只需要散列目录,则使用精简版:
def md5_update_from_dir(directory, hash):
assert Path(directory).is_dir()
for path in sorted(Path(directory).iterdir(), key=lambda p: str(p).lower()):
hash.update(path.name.encode())
if path.is_file():
with open(path, "rb") as f:
for chunk in iter(lambda: f.read(4096), b""):
hash.update(chunk)
elif path.is_dir():
hash = md5_update_from_dir(path, hash)
return hash
def md5_dir(directory):
return md5_update_from_dir(directory, hashlib.md5()).hexdigest()
用法: md5_hash = md5_dir("/some/directory")
这个食谱提供了一个很好的功能来完成你的要求。 我已将其修改为使用 MD5 哈希,而不是 SHA1,正如您最初的问题所问
def GetHashofDirs(directory, verbose=0):
import hashlib, os
SHAhash = hashlib.md5()
if not os.path.exists (directory):
return -1
try:
for root, dirs, files in os.walk(directory):
for names in files:
if verbose == 1:
print 'Hashing', names
filepath = os.path.join(root,names)
try:
f1 = open(filepath, 'rb')
except:
# You can't open the file for some reason
f1.close()
continue
while 1:
# Read file in as little chunks
buf = f1.read(4096)
if not buf : break
SHAhash.update(hashlib.md5(buf).hexdigest())
f1.close()
except:
import traceback
# Print the stack traceback
traceback.print_exc()
return -2
return SHAhash.hexdigest()
你可以这样使用它:
print GetHashofDirs('folder_to_hash', 1)
输出看起来像这样,因为它对每个文件进行了哈希处理:
...
Hashing file1.cache
Hashing text.txt
Hashing library.dll
Hashing vsfile.pdb
Hashing prog.cs
5be45c5a67810b53146eaddcae08a809
此函数调用的返回值作为哈希返回。 在这种情况下, 5be45c5a67810b53146eaddcae08a809
我不喜欢答案中引用的食谱是如何编写的。 我有一个更简单的版本,我正在使用:
import hashlib
import os
def hash_directory(path):
digest = hashlib.sha1()
for root, dirs, files in os.walk(path):
for names in files:
file_path = os.path.join(root, names)
# Hash the path and add to the digest to account for empty files/directories
digest.update(hashlib.sha1(file_path[len(path):].encode()).digest())
# Per @pt12lol - if the goal is uniqueness over repeatability, this is an alternative method using 'hash'
# digest.update(str(hash(file_path[len(path):])).encode())
if os.path.isfile(file_path):
with open(file_path, 'rb') as f_obj:
while True:
buf = f_obj.read(1024 * 1024)
if not buf:
break
digest.update(buf)
return digest.hexdigest()
我发现每当遇到类似alias
东西时通常都会抛出异常(显示在os.walk()
,但你不能直接打开它)。 os.path.isfile()
检查处理这些问题。
如果在我尝试散列的目录中存在实际文件并且无法打开它,则跳过该文件并继续不是一个好的解决方案。 这会影响散列的结果。 最好完全终止哈希尝试。 在这里, try
语句将围绕对我的hash_directory()
函数的调用。
>>> try:
... print(hash_directory('/tmp'))
... except:
... print('Failed!')
...
e2a075b113239c8a25c7e1e43f21e8f2f6762094
>>>
我一直看到这段代码通过各种论坛传播。
ActiveState recipe 答案有效,但正如 Antonio 指出的那样,由于无法以相同的顺序显示文件(试试看),因此不能保证它在文件系统之间是可重复的。 一种解决方法是改变
for root, dirs, files in os.walk(directory):
for names in files:
到
for root, dirs, files in os.walk(directory):
for names in sorted(files):
(是的,我在这里很懒。这仅对文件名而不是目录进行排序。同样的原则适用)
使用 checksumdir https://pypi.org/project/checksumdir/
directory = '/path/to/directory/'
md5hash = dirhash(directory, 'md5')
我进一步优化了安迪的回应。
以下是python3而不是python2的实现。 它使用 SHA1,处理一些需要编码的情况,被整理,并包含一些文档。
#!/usr/bin/env python3
# -*- coding: utf-8 -*-
"""dir_hash: Return SHA1 hash of a directory.
- Copyright (c) 2009 Stephen Akiki, 2018 Joe Flack
- MIT License (http://www.opensource.org/licenses/mit-license.php)
- http://akiscode.com/articles/sha-1directoryhash.shtml
"""
import hashlib
import os
def update_hash(running_hash, filepath, encoding=''):
"""Update running SHA1 hash, factoring in hash of given file.
Side Effects:
running_hash.update()
"""
if encoding:
file = open(filepath, 'r', encoding=encoding)
for line in file:
hashed_line = hashlib.sha1(line.encode(encoding))
hex_digest = hashed_line.hexdigest().encode(encoding)
running_hash.update(hex_digest)
file.close()
else:
file = open(filepath, 'rb')
while True:
# Read file in as little chunks.
buffer = file.read(4096)
if not buffer:
break
running_hash.update(hashlib.sha1(buffer).hexdigest())
file.close()
def dir_hash(directory, verbose=False):
"""Return SHA1 hash of a directory.
Args:
directory (string): Path to a directory.
verbose (bool): If True, prints progress updates.
Raises:
FileNotFoundError: If directory provided does not exist.
Returns:
string: SHA1 hash hexdigest of a directory.
"""
sha_hash = hashlib.sha1()
if not os.path.exists(directory):
raise FileNotFoundError
for root, dirs, files in os.walk(directory):
for names in files:
if verbose:
print('Hashing', names)
filepath = os.path.join(root, names)
try:
update_hash(running_hash=sha_hash,
filepath=filepath)
except TypeError:
update_hash(running_hash=sha_hash,
filepath=filepath,
encoding='utf-8')
return sha_hash.hexdigest()
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.