Stream 1TB GZIP 从 S3，解压上传到 S3

Question

我有大数据存储在 S3 中，我需要解压缩 GZ 文件，显然不能在 S3 中执行此操作。

我已经通过 S3 中的流式传输（通过 EC2 和本地）大型 tar 档案实现了这一点，但没有使用单个 gzip 文件，下面使用 tar gz 档案，但它可能是因为文件更小（38GB * 100 个文件）也许？

aws s3 cp s3://test/test.tar.gz - | tar -xz --to-command='aws s3 cp - s3://test/test_$TAR_REALNAME'

要尝试使用我运行的单个 gzip 文件：

aws s3 cp s3://test/test/csv.gz - | gzip -d | aws s3 cp - s3://test/test.csv

我的 EC2 上出现进程终止错误

我添加了

--expected-size 4000000000000

但它仍然会杀死这个过程。

我在本地尝试过：

gzip -d ./test.csv.gz - | aws s3 cp s3://test/test.csv

但它仍然不起作用，使用 Tar 存档非常容易..

是否有任何基于 AWS CLI 的方法可以轻松做到这一点，或者我是否遗漏了一些明显的东西？

Answer 1

你必须使用