![](/img/trans.png)
[英]Issuing uploading file to Amazon S3 Bucket. using the AWS SDK for Java v2
[英]AWS Amazon S3 Java SDK - Refresh credentials / token when expired while uploading large file
我正在尝试将一个大文件上传到使用令牌的服务器,并且令牌在10分钟后过期,因此,如果我上传一个小文件,它将可以正常工作,因此,如果文件比我大,将会遇到一些问题,并且会尝试在访问被拒绝时永远上传
所以,我需要刷新这比用于AWSStaticCredentialsProvider所以我不知道我怎么能做到这一点的BasicAWSCredentials令牌,请帮助=)
值得一提的是,我们使用提供令牌的本地服务器(而非亚马逊云),为方便起见,我们使用亚马逊的代码。
这是我的代码:
public void uploadMultipart(File file) throws Exception {
//this method will give you a initial token for a given user,
//than calculates when a new token is needed and will refresh it just when necessary
String token = getUsetToken();
String existingBucketName = myTenant.toLowerCase() + ".package.upload";
String endPoint = urlAPI + "s3/buckets/";
String strSize = FileUtils.byteCountToDisplaySize(FileUtils.sizeOf(file));
System.out.println("File size: " + strSize);
AwsClientBuilder.EndpointConfiguration endpointConfiguration = new AwsClientBuilder.EndpointConfiguration(endPoint, null);//note: Region has to be null
//AWSCredentialsProvider
BasicAWSCredentials sessionCredentials = new BasicAWSCredentials(token, "NOT_USED");//secretKey should be set to NOT_USED
AmazonS3 s3 = AmazonS3ClientBuilder
.standard()
.withCredentials(new AWSStaticCredentialsProvider(sessionCredentials))
.withEndpointConfiguration(endpointConfiguration)
.enablePathStyleAccess()
.build();
int maxUploadThreads = 5;
TransferManager tm = TransferManagerBuilder
.standard()
.withS3Client(s3)
.withMultipartUploadThreshold((long) (5 * 1024 * 1024))
.withExecutorFactory(() -> Executors.newFixedThreadPool(maxUploadThreads))
.build();
PutObjectRequest request = new PutObjectRequest(existingBucketName, file.getName(), file);
//request.putCustomRequestHeader("Access-Token", token);
ProgressListener progressListener = progressEvent -> System.out.println("Transferred bytes: " + progressEvent.getBytesTransferred());
request.setGeneralProgressListener(progressListener);
Upload upload = tm.upload(request);
LocalDateTime uploadStartedAt = LocalDateTime.now();
log.info("Starting upload at: " + uploadStartedAt);
try {
upload.waitForCompletion();
//upload.waitForUploadResult();
log.info("Upload completed. " + strSize);
} catch (Exception e) {//AmazonClientException
log.error("Error occurred while uploading file - " + strSize);
e.printStackTrace();
}
}
找到解决方案!
我找到了一种解决办法,说实话,我对结果感到非常满意,我已经对大文件(50gd.zip)进行了许多测试,并且在每种情况下都可以正常工作
我的解决方案是, 删除以下行: BasicAWSCredentials sessionCredentials = new BasicAWSCredentials(token, "NOT_USED");
AWSCredentials
是一个接口,因此我们可以用动态的方式覆盖它, 令牌过期的逻辑以及需要新的新令牌的逻辑都保存在getToken()方法中,这意味着您每次调用都不会造成任何伤害
AWSCredentials sessionCredentials = new AWSCredentials() {
@Override
public String getAWSAccessKeyId() {
try {
return getToken(); //getToken() method return a string
} catch (Exception e) {
return null;
}
}
@Override
public String getAWSSecretKey() {
return "NOT_USED";
}
};
上载文件(或多部分文件的一部分)时,您使用的凭据必须持续足够长的时间才能完成上载。 您无法刷新凭证,因为没有方法可以更新AWS S3,即您将新凭证用于已签名的请求。
您可以将上传文件分成较小的文件,以便更快地上传。 然后,仅上传X个部分。 刷新您的凭据并上传Y部分。 重复直到所有部分都上传。 然后,您需要通过合并各个部分来完成操作(这是一个单独的命令)。 这不是一个完美的解决方案,因为无法精确控制传输速度,这意味着您将必须编写自己的上传代码(这并不困难)。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.