將 S3 存儲桶中的 gzip 文件提取到另一個 S3 存儲桶

Question

我試圖從一個 S3 存儲桶復制 gzip 文件，並使用 gzip 庫將其內容提取到另一個 S3 存儲桶。 我收到一個錯誤

不支持從末端查找

import boto3, json
from io import BytesIO
import gzip

def lambda_handler():
    try:
        s3 = boto3.resource('s3')
        copy_source = {
            'Bucket': 'srcbucket',
            'Key': 'samp.gz'
            }
        bucket = s3.Bucket('destbucket')
        bucketSrc = s3.Bucket('srcbucket')

        s3Client = boto3.client('s3', use_ssl=False)

        s3Client.upload_fileobj(                      # upload a new obj to s3
            Fileobj=gzip.GzipFile(              # read in the output of gzip -d
                None,                           # just return output as BytesIO
                'rb',                           # read binary
                fileobj=BytesIO(s3Client.get_object(Bucket='srcbucket', Key='samp.gz')['Body'].read())),
            Bucket='destbucket',                      # target bucket, writing to
            Key="")               # target key, writing to

    except Exception as e:
        print(e)

Answer 1

您無法解壓縮 ZIP 文件並按照您嘗試的方式上傳其組成文件。

您可以將整個 ZIP 文件解壓縮到/tmp Lambda 本地磁盤（注意這有 512MB 磁盤空間的限制），然后逐個文件上傳。 或者，如果它不適合磁盤，或者您不想保留在桌面上，那么您可以將 ZIP 文件的內容逐個文件地流式傳輸到內存中，然后將每個流上傳到 S3）。 在這兩種解決方案中，您都需要為每次上傳提供適當的密鑰。