aws s3 sync / aws s3 cp 下载的 json 文件不完整

Question

我从 amazon s3 下载了.json 文件，但它的内容只是第一个键/值对的值。

原 json 文件是这样的：

{
    "_1": [
        {
            "Name": "name",
            "Type": "type"
        }
    ]
}

但是下载的 json 文件甚至不是 json 文件，它只有里面的列表。

[
  {
    "Name": "name",
    "Type": "type"
  }
]

我尝试了 aws s3 sync / aws s3 copy / aws s3api get-object 并且所有结果都是相同的。

我只想从 s3 存储桶下载原始文件。

有什么解决办法吗？

• 更新

我刚刚从预览中复制了 s3 select 上的原始内容并将其保存为文件。

我发现它的 md5 校验和和文件大小与 object 概述完全不同。

s3 存储桶上的原始文件似乎已损坏，但我不确定它的预览是否仍与原始内容相同。

Answer 1

我发现aws s3api select-object-content可以给我与预览中的 S3 select 相同的结果，但没有缩进。

对于缩进，我决定在收到未损坏的结果后重新缩进。

我使用下面的命令来检索我的 json 文件。

aws s3api select-object-content \
  --bucket $BUCKET \
  --key $KEY --expression "select * from s3object" \
  --expression-type 'SQL' \
  --input-serialization '{"JSON": {"Type": "LINES"}, "CompressionType": "NONE"}' \
  --output-serialization '{"JSON": {}}' \
  /dev/stdout | python -mjson.tool > $KEY