如何在火花数据框中将列连接到一个

Question

如何将 Spark 中数据帧的 2 列合并为 python 中的一列？ 我在 web 中找到了这个，但我得到了错误：

df4.select(concat(col("originaltitle"),lit(','),
    col("title"),lit(','),col("lname")).as("FullName")).show(false)

错误：

文件“”，第 2 行 col("title"),lit(','),col("lname")).as("FullName"))

 ^

SyntaxError：无效的语法

Answer 1

错误很明显，由于as关键字，您的语法无效。 在 Pyspark 中，您应该使用alias代替as ：

df4.select(
  concat(col("originaltitle"),lit(','), col("title"),lit(','), col("lname")
        ).alias("FullName")
).show(truncate=False)

Answer 2

除了修复语法错误（使用alias而不是as ），您还可以使用concat_ws ，它代表与分隔符连接。 这使您不必多次指定逗号。

df4.select(
    concat_ws(
        ',',
        col("originaltitle"),
        col("title"),
        col("lname")
    ).alias("FullName")
).show(truncate=False)