Spark Dataframe 更改列值

Question

我得到了一些包含 170 列的数据框。 在其中一列中，我有一个“名称”字符串，当我将它们写入 Postgres 时，该字符串有时会包含不合适的特殊符号，例如“'”。 我可以做这样的事情吗：

Df[$'name']=Df[$'name'].map(x => x.replaceAll("'","")) ?

我不想解析完整的 DataFrame，因为它非常庞大。请帮帮我

Answer 1

您不能改变 DataFrames，您只能将它们转换为具有更新值的新 DataFrames。 在这种情况下 - 您可以使用regex_replace函数对name列执行映射：

import org.apache.spark.sql.functions._
val updatedDf = Df.withColumn("name", regexp_replace(col("name"), ",", ""))

Answer 2

你可以这样做

df.withColumn("name", when($"name" === "'", ""))

Answer 3

import org.apache.spark.sql.functions._

df.withColumn("name",  lit(translate( translate(col("cpf"), ".", ""),"-","")))