Spark 数据集上的 typsafe sortBy/orderBy

Question

鉴于以下工作正常：

myDF.as[MyCaseClass].sort("process_utc_sec")

我怎样才能做一个更类型安全的方式，比如：

myDF.as[MyCaseClass].sortBy(_.process_utc_sec)

干杯

Answer 1

您可以将您的数据集转换为 RDD 并在此 RDD 上调用sortBy 。 然后转换回数据集：

myDF.as[MyCaseClass].rdd.sortBy(_.process_utc.sec).toDS()

但是sortWithinPartition方法没有任何替代方法......