使用 Boto3 回調，顯示上傳進度

Question

我在 Django/Python 應用程序（使用 Boto3）中遇到文檔存儲功能的情況，我還需要向用戶提供有關上傳進度的信息。

我所看到的直接使用 JS 的方法並非都在瀏覽器中普遍“可用”，我想要的是能夠使用 Boto3 上傳文件，然后還在我的 Django 模板中顯示上傳進度條。

查看此處的文檔： https : //boto3.amazonaws.com/v1/documentation/api/latest/_modules/boto3/s3/transfer.html我不明白如何顯示上傳調用的構建進度ProgressPercentage()來自模板。

我將如何使用 Boto3 在模板中為我的用戶顯示實際進度？

class ProgressPercentage(object):
        def __init__(self, filename):
            self._filename = filename
            self._size = float(os.path.getsize(filename))
            self._seen_so_far = 0
            self._lock = threading.Lock()

        def __call__(self, bytes_amount):
            # To simplify we'll assume this is hooked up
            # to a single filename.
            with self._lock:
                self._seen_so_far += bytes_amount
                percentage = (self._seen_so_far / self._size) * 100
                sys.stdout.write(
                    "\r%s  %s / %s  (%.2f%%)" % (
                        self._filename, self._seen_so_far, self._size,
                        percentage))
                sys.stdout.flush()


transfer = S3Transfer(boto3.client('s3', 'us-west-2'))
# Upload /tmp/myfile to s3://bucket/key and print upload progress.
transfer.upload_file('/tmp/myfile', 'bucket', 'key',
                         callback=ProgressPercentage('/tmp/myfile'))

Answer 1

SO中有三個相關的答案：

1. 在 aws boto3 上傳中獲取進度回調（無法使其工作，但看起來很優雅）

2. 使用 boto3 和回調跟蹤 S3 文件的下載進度（這個用於下載，但幫助我了解回調應該是什么樣子）

3. 帶進度條的 S3 Python 下載（有效，我用這個來編寫我的代碼）。

這是我所做的工作：

import boto3
from botocore.exceptions import NoCredentialsError, ClientError
import os
import progressbar

ACCESS_KEY = 'MY_ACCESS_KEY'
SECRET_KEY = 'MY_SECRET_KEY_THAT_I_KNOW_SHOULD_NOT_BE_HERE_BUT_I_HAVENT_IMPLEMENTED_THE_PROPER_WAY_YET_ALSO_I_DO_NOT_KNOW_WHY_I_AM_YELLING_SORRY'

def upload_to_aws(local_file, s3_bucket, s3_folder, s3_filename,force_overwrite='n'):
    s3 = boto3.client('s3', aws_access_key_id=ACCESS_KEY,
                    aws_secret_access_key=SECRET_KEY)


    def write_to_aws():

        statinfo = os.stat(local_file)
        up_progress = progressbar.progressbar.ProgressBar(maxval=statinfo.st_size)
        up_progress.start()

        def upload_progress(chunk):
            up_progress.update(up_progress.currval + chunk)


        try:
            print("Writting")
            s3.upload_file(local_file, s3_bucket, s3_folder+s3_filename, Callback=upload_progress)
            print("Upload Successful")
            return True
        except FileNotFoundError:
            print("The source file was not found")
            return False
        except NoCredentialsError:
            print("Credentials not available")
            return False
    try:
        s3.head_object(Bucket=s3_bucket, Key=s3_folder+s3_filename)
        if force_overwrite=='y':
            write_to_aws
        else:
            ask_overwrite = input('File already exists at destination. Overwrite?')
            if ask_overwrite == 'y':
                write_to_aws()
            else:
                print('leaving application')
    except ClientError as e:
        write_to_aws()

我知道您可能已經想通了，但是如果其他人在尋找解決方案時發現了這一點，我希望這會有所幫助