Select Spark中字符串的第一个字。SQL

Question

我正在尝试 select 通过 Spark SQL 表 Office_Address 中的 Office_Name 列字符串中的第一个单词。 我正在使用以下查询 -

select split_part(Office_NAME,' ',1) Office_Alias from world_Location.Office_Addrsss

当我在 redshift 数据库中查询时它工作正常，但当我尝试通过 spark.SQL 在 Python 脚本（胶水作业）中运行它时失败

错误它显示

AnalysisException: "Undefined function: 'split_part'. This function is neither a registered temporary function nor a permanent function registered in the database 'default'.; line 165 pos 55"

可能是什么问题？

Answer 1

您收到错误消息

AnalysisException: "Undefined function: 'split_part'. This function is neither a registered temporary function nor a permanent function registered in the database 'default'.; line 165 pos 55"

因为split_part不是这里可用的内置 spark api 的一部分。

相反，您可以尝试使用索引为0的split ，因为您对以空格分隔的第一个单词感兴趣，例如。

select split(Office_NAME,' ')[0] Office_Alias from world_Location.Office_Addrsss