如何获取输入文件名作为 AWS Athena 外部表中的列

Question

我在 AWS Athena 中创建了外部表来查询 S3 数据，但是，位置路径有 1000 多个文件。 所以我需要将记录的相应文件名显示为表中的一列。

select file_name , col1 from table where file_name = "test20170516"

简而言之，我需要知道 AWS Athena Presto 中的 INPUT__FILE__NAME(hive) 等效项或任何其他实现相同目标的方法。

Answer 1

您可以使用 $path 伪列执行此操作。

select "$path" from table

Answer 2

如果您只需要文件名，可以使用regeexp_extract()提取它。

要在"$path" Athena 中使用它，您可以执行以下操作：

SELECT regexp_extract("$path", '[^/]+$') AS filename from table;

如果您需要没有扩展名的文件名，您可以执行以下操作：

SELECT regexp_extract("$path", '[ \w-]+?(?=\.)') AS filename_without_extension from table;