Spark Scala Dataframe：如何将列转换为行？

Question

是否有一些有效的方法可以将 Spark Scala 中的大 DataFrame 的列转换为行？

val inputDF = Seq(("100","A", "10", "B", null),
                  ("101","A", "20", "B", 30)
              ).toDF("ID", "Type1", "Value1", "Type2", "Value2")

我想将其转换为 Dataframe，如下所示。

val OutDF = Seq(("100","A", "10"),
                ("100","B", "null),
                ("101", "A", "20"),
                ("101", "B", "30")
             ).toDF("ID", "TypeID", "Value")  

dataframe 很大，包含大约 1GB 的数据。 我正在使用火花 2.4.x。 关于以有效方式执行此操作的任何评论？ 非常感谢！

Answer 1

你可以做一个工会：

val outputDF = inputDF.select("ID","Type1","Value1")
                      .unionAll(inputDF.select("ID","Type2","Value2"))
                      .toDF("ID","Type","Value")  // change column names