值collectAsMap不是org.apache.spark.rdd.RDD的成员

Question

我正在尝试在以下语句中使用collectAsMap() ：

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.broadcast.Broadcast
import org.apache.spark.rdd.RDD
...
documents_input.
  filter(_ != documents_header).
  map(_.split(",")).
  map(Document.parse(_)).
  keyBy((_.id)).collectAsMap()

但是我收到以下错误：

value collectAsMap is not a member of org.apache.spark.rdd.RDD[(Int, `com.codependent.MyApp.Document)]`

知道为什么或如何将Array变成Map吗？

Answer 1

在更新导入后已修复，如Ram Ghadiyaram建议的那样：

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.broadcast.Broadcast
import org.apache.spark.rdd.RDD

Answer 2

这取决于您如何阅读documents_input 。 如果使用sparkContext阅读它，则应该可以使用collectAsMap 。 但是，如果您已将documents_input阅读为Source或任何其他scala api那么collectAsMap将collectAsMap 。 在这种情况下，您可以使用toMap