使用時間戳和 ID 將行添加到 Spark Dataframe

Question

我有一個名為timeDF的數據timeDF ，其架構如下：

root
 |-- Id: long (nullable = true)
 |-- Model: timestamp (nullable = true)
 |-- Prevision: timestamp (nullable = true)

我想通過將兩個Calendar對象c1 & c2為Timestamp在timeDF的末尾添加一個新行。 我知道我可以先將它們轉換為Timestamp如下所示：

val t1 = new Timestamp(c1.getTimeInMillis)
val t2 = new Timestamp(c2.getTimeInMillis)

但是，我不知道如何將這些變量作為新行寫入timeDF ，以及如何讓 spark 增加Id列值？

我應該用t1和t2創建一個List對象，然后從這個列表中創建一個臨時數據框，然后合並兩個數據框嗎？ 如果是這樣，我如何管理Id列？ 這么簡單的操作是不是太亂了？

有人可以解釋一下嗎？

謝謝。

Answer 1

如果您的第一個數據框可以按 ID 排序並且您需要逐行添加行，您可以在列表中找到最大 ID：

long max = timeDF.agg(functions.max("Id")).head().getLong(0);

然后通過聯合遞增並將其添加到您的數據幀中。 為此，請遵循以下示例，其中年齡可以充當 id。 people.json是 spark 示例中的文件。

Dataset<Row> df = spark.read().json("H:\\work\\HadoopWinUtils\\people.json");
df.show();

long max = df.agg(functions.max("age")).head().getLong(0);
List<Row> rows = Arrays.asList(RowFactory.create(max+1,  "test"));

StructType schema = DataTypes.createStructType(Arrays.asList(
                DataTypes.createStructField("age", DataTypes.LongType, false, Metadata.empty()),
                DataTypes.createStructField("name", DataTypes.StringType, false, Metadata.empty())));
Dataset<Row> df2 = spark.createDataFrame(rows, schema);
df2.show();
Dataset<Row> df3 = df.union(df2);
df3.show();

Answer 2

我試過這個，但我不知道為什么，在打印保存的表時，它只保留最后 2 行，所有其他行都被刪除。

這就是我初始化增量表的方式：

val schema = StructType(
               StructField("Id", LongType, false) ::
               StructField("Model", TimestampType, false) ::
               StructField("Prevision", TimestampType, false) :: Nil
             )

var timestampDF = spark.createDataFrame(sc.emptyRDD[Row], schema)

val write_format = "delta"
val partition_by = "Model"
val save_path = "/mnt/path/to/folder"
val table_name = "myTable"

spark.sql("DROP TABLE IF EXISTS " + table_name)
dbutils.fs.rm(save_path, true)

timestampDF.write.partitionBy(partition_by)
                 .format(write_format)
                 .save(save_path)

spark.sql("CREATE TABLE " + table_name + " USING DELTA LOCATION '" + save_path + "'")

這就是我向其中添加新項目的方式

def addTimeToData(model: Calendar, target: Calendar): Unit = {
  var timeDF = spark.read
                    .format("delta")
                    .load("/mnt/path/to/folder")
  
  val modelTS = new Timestamp(model.getTimeInMillis)
  val targetTS = new Timestamp(target.getTimeInMillis)
  var id: Long = 0
  
  if (!timeDF.head(1).isEmpty) {
    id = timeDF.agg(max("Id")).head().getLong(0) + 1
  }
  
  val newTime = Arrays.asList(RowFactory.create(id, modelTS, targetTS))
  val schema = StructType(
                 StructField("Id", LongType, false) ::
                 StructField("Model", TimestampType, false) ::
                 StructField("Prevision", TimestampType, false) :: Nil
               )  
  var newTimeDF = spark.createDataFrame(newTime, schema)
  val unionTimeDF = timeDF.union(newTimeDF)
  timeDF = unionTimeDF
  unionTimeDF.show
  val save_path = "/mnt/datalake/Exploration/Provisionning/MeteoFrance/Timestamps/"
  val table_name = "myTable"

  spark.sql("DROP TABLE IF EXISTS " + table_name)
  dbutils.fs.rm(save_path, true)
  timeDF.write.partitionBy("Model")
              .format("delta")
              .save(save_path)

  spark.sql("CREATE TABLE " + table_name + " USING DELTA LOCATION '" + save_path + "'")
}

我對增量表不是很熟悉，所以我不知道我是否可以在它上面使用 SQL 來添加這樣的值：

spark.sql("INSERT INTO 'myTable' VALUES (" + id + ", " + modelTS + ", " + previsionTS + ")");

而且我不會，如果只是像這樣放置時間戳變量就行了。

Answer 3

簡而言之，這是您可以嘗試的解決方案：

1. 攝取您的文件。
2. 使用您的數據和unionByName()創建一個新數據unionByName() 。
3. 更正標識。
4. 清理。

創建額外記錄

首先，您從頭開始創建額外的記錄。 當您混合多種類型時，我使用了 POJO，這是代碼：

List<ModelPrevisionRecord> data = new ArrayList<>();
ModelPrevisionRecord b = new ModelPrevisionRecord(
    -1L,
    new Timestamp(System.currentTimeMillis()),
    new Timestamp(System.currentTimeMillis()));
data.add(b);
Dataset<ModelPrevisionRecord> ds = spark.createDataset(data,
    Encoders.bean(ModelPrevisionRecord.class));
timeDf = timeDf.unionByName(ds.toDF());

ModelPrevisionRecord 是一個非常基本的 POJO：

package net.jgp.labs.spark.l999_scrapbook.l000;

import java.sql.Timestamp;

public class ModelPrevisionRecord {

  public long getId() {
    return id;
  }

  public void setId(long id) {
    this.id = id;
  }

  public Timestamp getModel() {
    return model;
  }

  public void setModel(Timestamp model) {
    this.model = model;
  }

  public Timestamp getPrevision() {
    return prevision;
  }

  public void setPrevision(Timestamp prevision) {
    this.prevision = prevision;
  }

  private long id;
  private Timestamp model;
  private Timestamp prevision;

  public ModelPrevisionRecord(long id, Timestamp model, Timestamp prevision) {
    this.id = id;
    this.model = model;
    this.prevision = prevision;
  }
}

更正 ID

id 為 -1，因此 id 是創建一個新列id2 ，並使用正確的 id：

timeDf = timeDf.withColumn("id2",
    when(
        col("id").$eq$eq$eq(-1), timeDf.agg(max("id")).head().getLong(0)+1)
            .otherwise(col("id")));

清理數據框

最后，清理你的數據框：

timeDf = timeDf.drop("id").withColumnRenamed("id2", "id");

重要筆記

• 此解決方案僅在您一次添加一條記錄時才有效，否則，您最終將擁有相同的 ID。
• 你可以在這里看到整個例子： https : //github.com/jgperrin/net.jgp.labs.spark/tree/master/src/main/java/net/jgp/labs/spark/l999_scrapbook/l000 ，它可能更容易克隆...