AWS Glue 作業有時無法解析給定輸入列的“xxx”

Question

當我執行aws glue job時，在Athena中運行成功的sql查詢語句會在這里報錯，通過日志看好像是他們的單引號有問題。 有誰知道這里發生了什么？

pyspark.sql.utils.AnalysisException: cannot resolve '`security_type`' given input columns: []; line 5 pos 0;

'GlobalLimit 100 +- 'LocalLimit 100 +- 'Project [test AS userid#40, test AS action#41, test AS datapoint_id#42, 'security_type AS inv_type#43] +- SubqueryAlias myDataSource +- LogicalRDD false

Answer 1

無法解析“列名”的原因是特定的“列名”在 sql 表的數據框中不存在。

當您在查詢中對列名使用雙引號 ("") 時，它也可能引發此錯誤。 如果這對您不起作用，請提供更多詳細信息。

謝謝。

Answer 2

我得到了同樣的錯誤，這是我的數據集（s3 中的 csv 文件）有 0 個數據行（僅包含 1 個標題行）。 只要確保它至少有一個數據行希望這有幫助