如何处理 JSON 在 AWS ATHENA 的列名中有特殊字符

Question

尽管我对 Hive 有一些短暂的体验，但我还是雅典娜的新手。

我正在尝试从 JSON 文件创建一个表，这些文件是从 MongoDB 导出的。我的问题是 MongoDB 使用 $oid、$numberInt、$numberDoble 和其他作为内部引用，但 ' $ ' 在列名中不被接受雅典娜。

这是我创建的用于测试的单行 JSON 文件：

{"_id":{"$oid":"61f87ebdf655d153709c9e19"}}

这是引用它的表：

CREATE EXTERNAL TABLE landing.json_table (
`_id` struct<`$oid`:string>
)
ROW FORMAT SERDE 'org.apache.hive.hcatalog.data.JsonSerDe'
LOCATION 's3://bucket-name/test/';

当我运行一个简单的 SELECT * 它返回这个错误：

HIVE_METASTORE_ERROR：错误：名称预期位于“struct<$oid:string>”的 position 7，但找到了“$”。 （服务：null；状态代码：0；错误代码：null；请求 ID：null；代理：null）

这与 JSON 列包含 $ 的事实有关。

关于如何处理这种情况的任何想法？ 我现在唯一的解决办法是创建一个脚本，从不接受的字符中“清除”json 文件，但如果可能的话，我真的更愿意直接在 Athena 中处理它

Answer 1

如果切换到 OpenX SerDe，您可以为 JSON 字段创建一个 SerDe 映射，名称中包含特殊字符，如$ 。

请参阅 AWS 博客条目Create Tables in Amazon Athena from Nested JSON 和 Mappings Using JSONSerDe ，“演练：使用映射处理禁用字符”部分。

适用于您的示例的映射：

CREATE EXTERNAL TABLE landing.json_table (
`_id` struct<`oid`:string>
)
ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'
WITH SERDEPROPERTIES (
"mapping.oid"="$oid"
)
LOCATION 's3://bucket-name/test/';