AWS S3文件同步

Question

我正在尝试通过计算MD5校验和并将其放在每个文件的元数据中，将文件从本地源同步到S3存储桶，在此我将文件上传到S3存储桶。 问题是这样做时，我还检查了目标位置已经存在的文件，以避免重复上传。 为此，我创建了一个要上传的文件列表，但文件名和MD5都不匹配。 这种获取S3文件的元数据并动态计算本地文件的MD5，然后进行匹配的操作需要花费大量时间，因为我大约有200000至500000个文件用于匹配。

是否有更好的方法可以通过使用多线程或其他方法来实现。 我不太了解如何在多线程环境中实现它，因为我最终需要一个列表和多个线程来处理并添加到同一列表中。 非常感谢任何代码示例或帮助。

使用.NET 4.6.1框架，此Windows作业应用程序是用C＃编写的。

Answer 1

您可以使用AWS Command-Line Interface（CLI） ，它具有aws s3 sync命令，其执行的功能与您所描述的非常相似。 但是，对于数十万个文件，它在匹配时也将执行缓慢。

或者，您可以使用Amazon S3库存-Amazon Simple Storage Service来获取S3存储桶中文件的每日列表（包括MD5校验和），然后将其与之进行比较。