使用带有列名列表的 Spark DataFrame 过滤器

Question

我必须使用List[String]过滤 Spark DataFrame 中的非空列值：

val keyList = List("columnA", "columnB", "columnC", "columnD", ...)

对于名为key的单个列，语法应为：

val nonNullDf = df.filter(col("key").isNotNull)

我的问题是如何使用keyList进入前一个过滤器？

Answer 1

您可以通过在keyList上执行 map-reduce 来生成过滤器。

如果要保留所有列都不是 null 的行，请使用and ， or如果要保留任何列不是 null 的行，请使用或。

val nonNullDf = df.filter(keyList.map(col(_).isNotNull).reduce(_ and _))