Scala / Spark中将两个数据帧整数值相加

Question

所以我对Scala和Spark都是新手，所以这可能是一个愚蠢的问题……我有以下代码：

val sqlContext = new org.apache.spark.sql.SQLContext(sc)
import sqlContext.implicits._

val df = sc.parallelize(List(1,2,3)).toDF();
df.foreach( value => println( value(0) + value(0) ) );

error: type mismatch;
 found   : Any
 required: String

怎么了 我如何分辨“这是整数而不是任何整数”？ 我尝试了value（0）.toInt，但是“ value toInt不是Any的成员”。 我尝试了List（1：Integer，2：Integer，3：Integer），但之后无法转换为数据框...

Answer 1

Spark Row是无类型的容器。 如果要提取除Any以外的Any ，则必须在Row上使用类型化的提取器方法或模式匹配（请参见Spark从Row提取值 ）：

df.rdd.map(value => value.getInt(0) + value.getInt(0)).collect.foreach(println)

实际上，应该有理由完全提取这些值。 相反，您可以直接在DataFrame上进行DataFrame ：

df.select($"_1" + $"_1")