Select Spark中字符串的第一個字。SQL

Question

我正在嘗試 select 通過 Spark SQL 表 Office_Address 中的 Office_Name 列字符串中的第一個單詞。 我正在使用以下查詢 -

select split_part(Office_NAME,' ',1) Office_Alias from world_Location.Office_Addrsss

當我在 redshift 數據庫中查詢時它工作正常，但當我嘗試通過 spark.SQL 在 Python 腳本（膠水作業）中運行它時失敗

錯誤它顯示

AnalysisException: "Undefined function: 'split_part'. This function is neither a registered temporary function nor a permanent function registered in the database 'default'.; line 165 pos 55"

可能是什么問題？

Answer 1

您收到錯誤消息

AnalysisException: "Undefined function: 'split_part'. This function is neither a registered temporary function nor a permanent function registered in the database 'default'.; line 165 pos 55"

因為split_part不是這里可用的內置 spark api 的一部分。

相反，您可以嘗試使用索引為0的split ，因為您對以空格分隔的第一個單詞感興趣，例如。

select split(Office_NAME,' ')[0] Office_Alias from world_Location.Office_Addrsss