Pyspark替換Spark數據幀列中的字符串

Question

我想通過替換子字符串在Spark Dataframe列上執行一些基本的詞干。 最快的方法是什么？

在我目前的用例中，我有一個我想要規范化的地址列表。 例如，這個數據幀：

id     address
1       2 foo lane
2       10 bar lane
3       24 pants ln

會成為

id     address
1       2 foo ln
2       10 bar ln
3       24 pants ln

Answer 1

對於Spark 1.5或更高版本，您可以使用函數包：

from pyspark.sql.functions import *
newDf = df.withColumn('address', regexp_replace('address', 'lane', 'ln'))

快速解釋：

• 調用函數withColumn以向數據框添加（或替換，如果名稱存在）列。
• 函數regexp_replace將通過替換與模式匹配的所有子字符串來生成新列。

Answer 2

對於斯卡拉

import org.apache.spark.sql.functions.regexp_replace
import org.apache.spark.sql.functions.col
data.withColumn("addr_new", regexp_replace(col("addr_line"), "\\*", ""))