Scala：如何按行联接多个Spark Dataframe？

Question

此处已经讨论了如何使用unionAll按行合并两个数据帧。

假设我不知道序列的长度，是否可以在不循环和定义var情况下在数据帧序列上应用unionAll （或类似函数）？

谢谢！

Answer 1

private def unionAll(dataFrames: Seq[DataFrame], sqlContext: SQLContext): DataFrame = dataFrames match {
  case Nil => sqlContext.emptyDataFrame
  case head :: Nil => head
  case head :: tail => head.unionAll(unionAll(tail, sqlContext))
}

需要第二种情况，以防止尝试将空DF（没有正确的架构）与非空DF合并。

这确实假定如果列表不为空，则所有DataFrame共享相同的架构。