Spark 數據框從一行中選擇一列

Question

嗨，我想從具有多列的 df 中創建一個具有一列的 df。 看到這個偽代碼：

df=[(id1,text),(id2,text2),...] //df where each row has two columns "id","text"
id_column=df.map(row=>row._1)

我怎么能在火花中做到這一點？

Answer 1

你可以用一個選擇來做

val df : DataFrame=[(id1,text),(id2,text2),...] //df where each row has two columns "id","text"

val dfResult: DataFrame = df.select("id")

如果你不知道列的名稱和位置，你也可以這樣做：

df.select(aux.columns(0))

Answer 2

找到了！！ 我想要的是：

having a df like:
| id | text  |
| 1  |  bla1 |     
| 2  | foo   |
//real scala/spark code...
just_ids=df.map(row=>row.getAs[Int](0))