Spark Scala外壳中的Parallelize集合

Question

我试图并行化元组并在下面出现错误。 请让我知道这是以下语法中的错误

谢谢

Answer 1

方法并行化需要一个Seq。 序列中的每一项将是一个记录。

def parallelize[T](seq: Seq[T], 
  numSlices: Int = defaultParallelism)
  (implicit arg0: ClassTag[T]): RDD[T]

在您的示例中，您需要添加一个Seq来包装元组，在这种情况下，RDD仅具有一个记录

scala> val rdd = sc.parallelize(Seq(("100", List("5", "-4", "2", "NA", "-1"))))
rdd: org.apache.spark.rdd.RDD[(String, List[String])] = ParallelCollectionRDD[2] at parallelize at <console>:24

scala> rdd.count
res4: Long = 1