[英]How to join a map of DataFrames? Scala Spark
我有一个DataFrames的地图:
val myMap = Map(
"name1" -> df1,
"name2" -> df2,
"name3" -> df3
)
我想将这些DataFrame加入常见列的列表中:
val commonColumns = Seq("id", "time")
那么,对于任何长度的df映射,我可以写什么语句来获得以下效果?
val desiredDf = df1.join(df2, commonColumns).join(df3, commonColumns)
这个怎么样:
val desiredDf = myMap.values.reduce((l, r) => {
l.join(r, commonColumns)
})
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.