過濾火花數據集

Question

在火花會話中

val spark = SparkSession
  .builder()
  .appName("Spark SQL basic example")
  .config("spark.some.config.option", "some-value")
  .getOrCreate()

從數據集中

case class Coords(x: Option[Double],y: Option[Double])
val coords = spark.read.format("delta").load("<...>").select(col("x"), col("y")).as[Coords]

如何刪除那些“x”或“y”為空且“y”低於10的行？

非常感謝！

Answer 1

val res = coords
  .filter(col("x").isNotNull)
  .filter(col("y").isNotNull)
  .filter(col("y") >= 10)