从 s3 解压缩 tar.bz2 并将文件从 Pyhon 移回 s3

Question

假设我有一个bzip2压缩的tar存档文件x.tar.bz2存储在s3中。 我想将其解压缩并放回s3 。 这可以通过以下方式实现：

from s3fs import S3FileSystem
fs = S3FileSystem()

import tarfile

with fs.open('s3://path_to_source/x.tar.bz2', 'rb') as f:
    r = f.read()
with open('x.tar.bz2', mode='wb') as localfile:     
    localfile.write(r)
tar = tarfile.open('x.tar.bz2', "r:bz2")
tar.extractall(path='extraction/path')
tar.close()

fs.put('extraction/path', f's3://path_to_destination/x', recursive=True)

在上述解决方案中，我将文件内容两次保存到我的本地磁盘中。 我有以下问题（预计将使用 Python 完成解决方案）：

1. 是否可以（使用tarfile模块）直接从 s3 加载数据并将其提取到那里以避免将数据存储在本地驱动器上？
2. 是否可以在流模式下完成这项工作，而无需在 memory 中拥有整个x.tar.bz2 （或至少未压缩的存档x.tar ）文件？

Answer 1

tarfile.open接受类似于文件的 object 作为fileobj参数，因此您可以将您从S3FileSystem.open获得的文件 object 传递给它。 然后可以遍历tar object中的TarInfo对象，在S3中打开对应路径进行写入：

with fs.open('s3://path_to_source/x.tar.bz2', 'rb') as f:
    with tarfile.open(fileobj=f, mode='r:bz2') as tar:
        for entry in tar:
            with fs.open(f'path_to_source/{entry.name}', mode='wb') as writer:
                writer.write(tar.extractfile(entry).read())