boto3 s3上傳帶有內容MD5驗證的大文件

Question

我在上傳大文件時遇到問題，並找到了一個可用的 ContentMD5 方法來提供傳輸驗證

我從 client.upload_file 開始。 此方法沒有 ContentMD5 參數。 所以我嘗試使用 function 為文件生成本地 ETag 並使用傳輸的文件進行驗證。

我發現如果您在 S3 存儲桶中使用 KMS 加密，您的 etag 以某種方式依賴於 KMS，並且本地生成的 ETag 不等於 S3 中的。

第二次嘗試使用 Object.put。 在這里您可以使用 ContentMD5 和 KMS 也可以，但 function 使用單個 stream 進行上傳，而不是多部分。 單流無法上傳大文件。

所以現在我有點卡住了。 有一個 create MultiPart function 和 upload_part 但我找不到 ContentMD5 整體的任何示例。

那是 Object.put 試試

binary_hash = hashlib.md5(open(file_name,'rb').read()).digest()
file_md5 = base64.b64encode(binary_hash)

metadata = {
    "md5sum": file_md5
}

try:
    obj = s3_resource.Object(bucket, fileobj)
    obj.put(
        Body=open(file_name, 'rb'),
        ContentMD5=file_md5,
        Metadata=metadata,
        ServerSideEncryption='aws:kms',
        SSEKMSKeyId=s3kmskey)

Answer 1

分段上傳將文件拆分為塊。 因此，您需要計算每個塊的 MD5 校驗和，然后連接所有校驗和的校驗和。 ETag 將是上述連接的校驗和，后跟-n ，其中n是部分數。 這在官方文檔中不可用。

這個 python 腳本可以為您完成這項工作。

注意：這不適用於文檔建議的 KMS 加密。

您也可以計算 MD5 hash 並將其與Content-MD5 header 一起傳遞。