Scala Spark僅讀取特定列下的最后一行

Question

如何修改以下代碼以僅獲取表的最后一行，尤其是key列下的值？ 原因是，這是一個巨大的表，我需要最后一行，特別是鍵值，才能知道到目前為止已加載了多少。 我不在乎其他內容。

第1行：

val df = spark.sqlContext.read.format("datasource").option("project", "character").option("apiKey", "xx").option("type", "tables").option("batchSize", "10000").option("database", "humans").option("table", "healthGamma").option("inferSchema", "true").option("inferSchemaLimit", "1").load()

第2行：

df.createTempView("tables")

第3行：

spark.sqlContext.sql("select * from tables").repartition(1).write.option("header","true").parquet("lifes_remaining")

Answer 1

您可以在像這樣的數據框中使用orderBy ，希望對您有所幫助：

df.orderBy($"value".desc).show(1)