如何 stream 并从 S3 中的 a.tar.gz boto3 读取？

Question

在 S3 上有一个 JSON 文件，格式如下：

{"field1": "...", "field2": "...", ...}
{"field1": "...", "field2": "...", ...}
{"field1": "...", "field2": "...", ...}

它以.tar.gz格式压缩，解压缩后的大小约为 30GB，因此我想以流媒体的方式阅读它。

使用aws cli ，我设法使用以下命令在本地执行此操作：

aws s3 cp s3://${BUCKET_NAME}/${FILE_NAME}.tar.gz - | gunzip -c -

但是，我想在python 3.8本地进行。

在线合并各种解决方案，我尝试了以下策略：

1.解压缩内存文件[不工作]

import boto3, gzip, json
from io import BytesIO

s3 = boto3.resource('s3')
key = 'FILE_NAME.tar.gz'
streaming_iterator = s3.Object('BUCKET_NAME', key).get()['Body'].iter_lines()
first_line = next(streaming_iterator)

gzipline = BytesIO(first_line)
gzipline = gzip.GzipFile(fileobj=gzipline)
print(gzipline.read())

这引起了

EOFError: Compressed file ended before the end-of-stream marker was reached

2. 使用外部库smart_open [部分工作]

import boto3

for line in open(
    f's3://${BUCKET_NAME}/${FILE_NAME}.tar.gz',
    mode="rb",
    transport_params={"client": boto3.client('s3')},
    encoding="raw_unicode_escape",
    compression=".gz"
):
    print(line)

第二种解决方案对 ASCII 字符非常有效，但由于某种原因，它也会将非 ASCII 字符变成垃圾； 例如，

• 输入： \xe5\x9b\xbe\xe6\xa0\x87\xe3\x80\x82
• output ： å\x9b¾æ\xa0\x87ã\x80\x82
• 预计 output :图标。

这使我认为我输入的encoding是错误的，但我确实尝试了此页面中存在的所有编码，唯一不会导致异常的编码是raw_unicode_escape 、 unicode_escape和palmos (?)，但它们都会产生垃圾.

欢迎任何建议，在此先感谢。

Answer 1

对get_object()的调用返回的是StreamingBody object，顾名思义，它允许您以流方式从 object 中读取数据。 但是，boto3 不支持在此文件 object 上查找。

虽然您可以将此 object 传递给tarfile.open调用，但您需要小心。 有两个警告。 首先，您需要使用|告诉 tarfile 您正在向它传递一个不可搜索的流 object 打开字符串中的字符，并且您不能做任何会触发搜索的事情，例如尝试首先获取文件列表，然后对这些文件进行操作。

把它们放在一起相当简单，你只需要使用 boto3 打开一个 object，然后依次处理 tar 文件中的每个文件：

# Use boto3 to read the object from S3
s3 = boto3.client('s3')
resp = s3.get_object(Bucket='example-bucket', Key='path/to/example.tar.gz')
obj = resp['Body']

# Open the tar file, the "|" is important, as it instructs
# tarfile that the fileobj is non-seekable
with tarfile.open(fileobj=obj, mode='r|gz') as tar:
    # Enumerate the tar file objects as we extract data
    for member in tar:
        with tar.extractfile(member) as f:
            # Read each row in turn and decode it
            for row in f:
                row = json.loads(row)
                # Just print out the filename and results in this demo
                print(member.name, row)