Scala Word计数罐未在火花中运行

Question

我对Scala和Spark都很陌生。 我将Scala IDE添加到Eclipse Luna。 我在Eclipse中创建了一个Maven项目。 我当时是使用Eclipse作为配置选项在Eclipse中运行程序，并且能够成功获取输出。 但是，当我为以下程序创建jar并尝试运行spark shell时，出现以下错误。

错误：“;” 预期，但找到“班级”。

使用命令运行jar

spark-submit --class com.kirthi.spark.proj.sparkexamples.WordsCount --master local /home/cloudera/workspace/sparkwc1.jar hdfs://localhost:8020/kirthi3/dataset.txt hdfs://localhost:8020/kirthi3/sparkwco

我尝试过的字数统计程序

package com.kirthi.spark.proj.sparkexamples
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._

object WordsCount {
 def main(args: Array[String]){

   val conf = new SparkConf()
   .setAppName("Word Count")
   .setMaster("local")

   val sc = new SparkContext(conf)

   val textFile = sc.textFile(args(0))

   val words = textFile.flatMap(line => line.split(","))

   val counts = words.map(word => (word,1))

   val wordcount = counts.reduceByKey(_+_)

   val wordcount_sorted = wordcount.sortByKey()

   wordcount_sorted.foreach(println)

   wordcount_sorted.saveAsTextFile(args(1)) 
  }

}

请帮助我，因为我对最初的火花程序感到震惊。

我正在使用cloudera quickstart CDH 5.5

Answer 1

如注释中所示，您在Scala REPL中运行了以上命令，您应该从常规linux shell中运行该命令。