我在数据块上使用“var df ...”得到“无效语法”错误（试图更改列数据类型）

Question

我正在尝试使用下面的代码（在 Databricks 笔记本中）将列的类型从字符串更改为日期时间。

import org.apache.spark.sql.functions._
val df\ = df.withColumn("end",col("end").cast(DateType))
    df\.printSchema()

或者像这样：

df.createOrReplaceTempView("CastExample")
val df4 = spark.sql("DATE(end) from CastExample")
df4.printSchema()
df4.show(false)

但我得到这个错误：

SyntaxError: invalid syntax
  File "<command-1642181972810133>", line 2
    val df4 = spark.sql("DATE(end) from CastExample")
        ^
SyntaxError: invalid syntax

“瓦尔”

它似乎意味着“不可变引用”或其他东西，但我在网上找不到任何关于它的信息。 有很多使用它的代码示例，但没有人提到它为什么存在。 或者我以错误的方式搜索它。 好像来自 Scala，但我不知道......也许我没有导入一些东西。

我将不胜感激任何建议。

Answer 1

您不应该使用“val”，因为那是 Scala 语法，如果您想要 df4 中的所有 df 列，请使用 *.

df.createOrReplaceTempView("CastExample")
df4 = spark.sql("SELECT *, DATE(end) as new_name from CastExample")
df4.printSchema()
df4.show(10,False)

您也可以使用 PySpark 来实现相同的目的。

df4=df.select(to_date(df.end).alias('new_name'))
df4.show(10,False)