[英]Spark Scala Dataframe How to create new column with two or more existing columns
[英]Spark/scala - can we create new columns from an existing column value in a dataframe
我正在尝试看看是否可以使用spark / scala从dataFrame中的某一列中的值创建新列。 我有一个包含以下数据的数据框
df.show()
+---+-----------------------+
|id |allvals |
+---+-----------------------+
|1 |col1,val11|col3,val31 |
|3 |col3,val33|col1,val13 |
|2 |col2,val22 |
+---+-----------------------+
在上面的数据中,col1 / col2 / col3是列名,后跟它的值。 列名和值之间以,
分隔。 每组之间用|
分隔|
。
现在,我想实现这样的目标
+---+----------------------+------+------+------+
|id |allvals |col1 |col2 |col3 |
+---+----------------------+------+------+------+
|1 |col1,val11|col3,val31 |val11 |null |val31 |
|3 |col3,val33|col1,val13 |val13 |null |val13 |
|2 |col2,val22 |null |val22 |null |
+---+----------------------+------+------+------+
感谢任何帮助。
您可以使用udf
将column转换为Map
:
import org.apache.spark.sql.functions._
import spark.implicits._
val df = Seq(
(1, "col1,val11|col3,val31"), (2, "col3,val33|col3,val13"), (2, "col2,val22")
).toDF("id", "allvals")
val to_map = udf((s: String) => s.split('|').collect { _.split(",") match {
case Array(k, v) => (k, v)
}}.toMap )
val dfWithMap = df.withColumn("allvalsmap", to_map($"allvals"))
val keys = dfWithMap.select($"allvalsmap").as[Map[String, String]].flatMap(_.keys.toSeq).distinct.collect
keys.foldLeft(dfWithMap)((df, k) => df.withColumn(k, $"allvalsmap".getItem(k))).drop("allvalsmap").show
// +---+--------------------+-----+-----+-----+
// | id| allvals| col3| col1| col2|
// +---+--------------------+-----+-----+-----+
// | 1|col1,val11|col3,v...|val31|val11| null|
// | 2|col3,val33|col3,v...|val13| null| null|
// | 2| col2,val22| null| null|val22|
// +---+--------------------+-----+-----+-----+
受到user6910411 这个答案的启发 。
您可以使用split
, explode
和groupBy/pivot/agg
来转换DataFrame,如下所示:
val df = Seq(
(1, "col1,val11|col3,val31"),
(2, "col3,val33|col1,val13"),
(3, "col2,val22")
).toDF("id", "allvals")
import org.apache.spark.sql.functions._
df.withColumn("temp", split($"allvals", "\\|")).
withColumn("temp", explode($"temp")).
withColumn("temp", split($"temp", ",")).
select($"id", $"allvals", $"temp".getItem(0).as("k"), $"temp".getItem(1).as("v")).
groupBy($"id", $"allvals").pivot("k").agg(first($"v"))
// +---+---------------------+-----+-----+-----+
// |id |allvals |col1 |col2 |col3 |
// +---+---------------------+-----+-----+-----+
// |1 |col1,val11|col3,val31|val11|null |val31|
// |3 |col2,val22 |null |val22|null |
// |2 |col3,val33|col1,val13|val13|null |val33|
// +---+---------------------+-----+-----+-----+
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.