AWS Glue 作业有时无法解析给定输入列的“xxx”

Question

当我执行aws glue job时，在Athena中运行成功的sql查询语句会在这里报错，通过日志看好像是他们的单引号有问题。 有谁知道这里发生了什么？

pyspark.sql.utils.AnalysisException: cannot resolve '`security_type`' given input columns: []; line 5 pos 0;

'GlobalLimit 100 +- 'LocalLimit 100 +- 'Project [test AS userid#40, test AS action#41, test AS datapoint_id#42, 'security_type AS inv_type#43] +- SubqueryAlias myDataSource +- LogicalRDD false

Answer 1

无法解析“列名”的原因是特定的“列名”在 sql 表的数据框中不存在。

当您在查询中对列名使用双引号 ("") 时，它也可能引发此错误。 如果这对您不起作用，请提供更多详细信息。

谢谢。

Answer 2

我得到了同样的错误，这是我的数据集（s3 中的 csv 文件）有 0 个数据行（仅包含 1 个标题行）。 只要确保它至少有一个数据行希望这有帮助