Spark 数据框从一行中选择一列

Question

嗨，我想从具有多列的 df 中创建一个具有一列的 df。 看到这个伪代码：

df=[(id1,text),(id2,text2),...] //df where each row has two columns "id","text"
id_column=df.map(row=>row._1)

我怎么能在火花中做到这一点？

Answer 1

你可以用一个选择来做

val df : DataFrame=[(id1,text),(id2,text2),...] //df where each row has two columns "id","text"

val dfResult: DataFrame = df.select("id")

如果你不知道列的名称和位置，你也可以这样做：

df.select(aux.columns(0))

Answer 2

找到了！！ 我想要的是：

having a df like:
| id | text  |
| 1  |  bla1 |     
| 2  | foo   |
//real scala/spark code...
just_ids=df.map(row=>row.getAs[Int](0))