[英]Differential backup using python based on date-time folder structure
我有一个家庭文件服务器(照片\/视频),我想每天\/每周将主存储中的所有数据备份到另一个备份驱动器。 我的备份驱动器是希捷 Ironwolf NAS 硬盘。 我知道有多种工具可以帮助我实现这一目标,但没有一个能满足我的要求。 备份驱动器中的所有数据都应位于日期时间文件夹层次结构中:
例如:在根目录下,有2011、2012、2013等文件夹。在每个文件夹中,都有以月份命名的文件夹(Jan、Feb等),数据将在这些文件夹中。 因此,在 2013 年 3 月创建的任何文件都将存储在 \/2013\/Mar\/* 中。
我试图使用 python 脚本自动备份,但很快意识到当我第一次运行它时,它必须复制所有内容(超过 300 GB 的数据)。 随后的运行将进行差异备份,其中仅复制那些新的\/更改的文件。
我的问题是,使用python,我如何使用多个线程来复制文件? 我的方法是将文件数(n)平均分配给所有线程(t),但问题是当 2 个或更多线程尝试访问\/写入同一月\/年时。 有没有更好的选择将文件正确划分到每个线程以处理它们的比较和复制而不干扰其他线程?
另外,单线程操作是否可行? 使用多个线程会降低驱动器写入性能吗?
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.