zipWithIndex rdd具有初始值

Question

我有一個這樣的RDD：

+----------+--------+
|firstName |lastName|
+----------+--------+
|      john|   smith|
|      anna|  tourde|
+----------+--------+

我會像創建zipWithIndex一樣創建一個新列，但給定和初始值為8。

+----------+--------+-----+
|firstName |lastName|index|
+----------+--------+-----+
|      john|   smith|    8|
|      anna|  tourde|    9|
+----------+--------+-----+

你有什么主意嗎？ 謝謝

Answer 1

rdd.zipWithIndex().map { case (v, ind) =>
  (v, ind + 8)
}

Answer 2

使用zipWithIndex並轉換回數據zipWithIndex ，如下所示

val df1 = spark.sqlContext.createDataFrame(
    df.rdd.zipWithIndex.map {
  case (row, index) => Row.fromSeq(row.toSeq :+ index + 8)
},
// Create schema for index column
StructType(df.schema.fields :+ StructField("index", LongType, false)))