没有为org.apache.spark.sql.types.TimestampType定义隐式排序

Question

我正在使用Scala中的Spark和具有我开发的预定义模式的数据集。

我面临的问题是，当我尝试通过类型为TimestampType的字段对当前RDD进行排序时，日志中将显示以下消息。

No implicit Ordering defined for org.apache.spark.sql.types.TimestampType.

对于给定的代码行。

.sortBy(event => event
      .getAs("sample.timestamp")
      .asInstanceOf[TimestampType],
      ascending = true,
      1)

Answer 1

TimestampType不是该列中的实际值类型。 它在模式级别（在StructType > StructField ）定义了数据类型，但不可更改的值类型应为java.sql.Timestamp 。

如果将值转换为Timestamp ，则排序应该可以正常工作。