Scala / Spark中將兩個數據幀整數值相加

Question

所以我對Scala和Spark都是新手，所以這可能是一個愚蠢的問題……我有以下代碼：

val sqlContext = new org.apache.spark.sql.SQLContext(sc)
import sqlContext.implicits._

val df = sc.parallelize(List(1,2,3)).toDF();
df.foreach( value => println( value(0) + value(0) ) );

error: type mismatch;
 found   : Any
 required: String

怎么了 我如何分辨“這是整數而不是任何整數”？ 我嘗試了value（0）.toInt，但是“ value toInt不是Any的成員”。 我嘗試了List（1：Integer，2：Integer，3：Integer），但之后無法轉換為數據框...

Answer 1

Spark Row是無類型的容器。 如果要提取除Any以外的Any ，則必須在Row上使用類型化的提取器方法或模式匹配（請參見Spark從Row提取值 ）：

df.rdd.map(value => value.getInt(0) + value.getInt(0)).collect.foreach(println)

實際上，應該有理由完全提取這些值。 相反，您可以直接在DataFrame上進行DataFrame ：

df.select($"_1" + $"_1")