如何更改S3文件？

Question

我有一个900 MB的文件，我想从S3下载到磁盘，如果它还没有下载到位。 有没有一种简单的方法让我只下载文件（如果它还没有到位）？ 我知道S3支持查询文件的MD5校验和，但我希望不必自己构建这个逻辑。

Answer 1

您可以使用AWS CLI的s3 sync命令 。

同步目录和S3前缀。 递归地将新的和更新的文件从源目录复制到目标。

根据这一论坛主题 ，您可以使用sync同步只有一个文件：

aws s3 sync s3://bucket/path/ local/path/ --exclude "*" --include "File.txt"

它说：同步给定路径，排除所有文件，但包括"File.txt" - 因此它将仅同步这些给定路径下的"File.txt" 。

---

或者使用Java SDK：

根据javadoc ，有一个getObjectMetadata方法 ，它将返回有关S3对象（文件）的信息而不下载它的内容。

该方法返回一个ObjectMetadata对象，它可以为您提供一些有用的信息：

• getLastModified方法 ：

获取Last-Modified标头的值，指示Amazon S3 上次记录对关联对象的修改的日期和时间 。

• getContentMD5方法 ：

根据RFC 1864获取关联对象（内容 - 不包括标头）的base64编码的128位MD5摘要 。

• getETag方法 ：

根据RFC 1864获取关联对象的十六进制编码的128位MD5摘要 。

Answer 2

我使用下面的代码下载时间戳大于本地文件夹时间戳的S3文件。 首先，它检查S3文件夹中的任何文件是否具有大于本地文件夹时间戳的时间戳。 如果是，则仅下载这些文件。

    TransferManager transferManager = TransferManagerBuilder.standard().build();
    AmazonS3 amazonS3 = AmazonS3ClientBuilder.standard().build();
            Path location = Paths.get("/data/test/");
            FileTime lastModifiedTime = null;
            try {
                lastModifiedTime = Files.getLastModifiedTime(location, LinkOption.NOFOLLOW_LINKS);
            } catch (IOException e) {
                e.printStackTrace();
            }

Date lastUpdatedTime = new Date(lastModifiedTime.toMillis());        

    ObjectListing listing = amazonS3.listObjects("bucket", "test-folder");
            List<S3ObjectSummary> summaries = listing.getObjectSummaries();
            for (S3ObjectSummary os: summaries) {
                if(os.getLastModified().after(lastUpdatedTime)) {
                    try {
                        String fileName="/data/test/"+os.getKey();
                        Download multipleFileDownload = transferManager.download(bucket, os.getKey(), new File(fileName));                        
                        while (multipleFileDownload.isDone() == false) {
                            Thread.sleep(1000);
                        }
                    }catch(InterruptedException i){
                        LOG.error("Exception Occurred while downloading the file ",i);
                    }
                }
            }