AWS Athena JSON格式失败

Question

我正在尝试从此json上传数据：

JSON-A

[
  {"name": "james", "id": 41},
  {"name": "scott", "id": 62},
  {"name": "abhi", "id": 16},
  {"name": "kevin", "id": 53},
  {"name": "beau", "id": 12},
  {"name": "shally", "id": 35},
  {"name": "jude", "id": 53},
  {"name": "jason", "id": 77},
  {"name": "hongjian", "id": 35},
  {"name": "madhur", "id": 6}
]

如果它具有父“数据”键，例如

JSON-B

["data":{"name": "james","id": 41"},{.....}]

那么我知道我可以做到：

CREATE EXTERNAL TABLE IF NOT EXISTS test.test (
  `data` array<struct<`name`:string,`id`:bigint>>
)
ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'
WITH SERDEPROPERTIES (
  'serialization.format' = '1'
) LOCATION 's3://test-bucket/';

但是，对JSON-A应该采取什么方法？

Answer 1

您必须将文件保存在“ s3：// test-bucket /”中：
{"name": "james", "id": 41} {"name": "scott", "id": 62} {"name": "abhi", "id": 16} {"name": "kevin", "id": 53} {"name": "beau", "id": 12} {"name": "shally", "id": 35} {"name": "jude", "id": 53} {"name": "jason", "id": 77} {"name": "hongjian", "id": 35} {"name": "madhur", "id": 6}

Answer 2

由于Hive / SerDe假设您的文本文件每行包含一条记录，因此我认为这行不通。 从org.openx.data.jsonserde.JsonSerDe文档中 ：

1. 每行一条记录 -尽管我不确定您的示例在多行方面是否应为原义，但该示例的确在同一行中包含多个记录。

重要！！！ 阅读以下内容！ Json记录每行必须是一个，即多行Json不能使用Serde。

2. 数组示例（每行一个）-serde示例确实显示了如何使用数组，但同样，不是同一行中包含多个记录的顶级数组。