我們如何在 Pyspark 中使用 import org.apache.spark.sql.catalyst.parser.CatalystSqlParser

Question

我們如何使用

在 Pyspark 中導入 org.apache.spark.sql.catalyst.parser.CatalystSqlParser，它在 Scala 中運行良好，現在根據需求，我們嘗試在 Pyspark 中轉換我們的項目。 我正在使用 azure data-bricks 來使用這個庫。

Answer 1

注意 - CatalystSqlParser 用於將 DataTypes 從其規范的字符串表示形式（例如，將字段添加到模式或將列轉換為不同的數據類型時）或 StructTypes。

在 PySpark 中，您可以使用 Column 類的cast()函數來轉換或更改 DataFrame 列數據類型。

示例代碼github 鏈接

參考這篇 文章了解更多信息