沒有為org.apache.spark.sql.types.TimestampType定義隱式排序

Question

我正在使用Scala中的Spark和具有我開發的預定義模式的數據集。

我面臨的問題是，當我嘗試通過類型為TimestampType的字段對當前RDD進行排序時，日志中將顯示以下消息。

No implicit Ordering defined for org.apache.spark.sql.types.TimestampType.

對於給定的代碼行。

.sortBy(event => event
      .getAs("sample.timestamp")
      .asInstanceOf[TimestampType],
      ascending = true,
      1)

Answer 1

TimestampType不是該列中的實際值類型。 它在模式級別（在StructType > StructField ）定義了數據類型，但不可更改的值類型應為java.sql.Timestamp 。

如果將值轉換為Timestamp ，則排序應該可以正常工作。