使用帶有列名列表的 Spark DataFrame 過濾器

Question

我必須使用List[String]過濾 Spark DataFrame 中的非空列值：

val keyList = List("columnA", "columnB", "columnC", "columnD", ...)

對於名為key的單個列，語法應為：

val nonNullDf = df.filter(col("key").isNotNull)

我的問題是如何使用keyList進入前一個過濾器？

Answer 1

您可以通過在keyList上執行 map-reduce 來生成過濾器。

如果要保留所有列都不是 null 的行，請使用and ， or如果要保留任何列不是 null 的行，請使用或。

val nonNullDf = df.filter(keyList.map(col(_).isNotNull).reduce(_ and _))