为什么saveAsTextFile什么都不做？

Question

我正在尝试在Scala + Spark中实现简单的WordCount。 这是我的代码

object FirstObject {
  def main(args: Array[String]) {
    val input = "/Data/input"
    val conf = new SparkConf().setAppName("Simple Application")
                              .setMaster("spark://192.168.1.162:7077")
    val sparkContext = new SparkContext(conf)
    val text = sparkContext.textFile(input).cache()
    val wordCounts = text.flatMap(line => line.split(" "))
                         .map(word => (word,1))
                         .reduceByKey((a,b) => a+b)
                         .sortByKey()
    wordCounts.saveAsTextFile("/Data/output")

  }

这项工作持续了54s ，最终什么也没做。 是不将输出写入/Data/output

另外，如果我用forEach(println)替换saveAsTextFile ，则会产生所需的输出。

Answer 1

您应该检查/ data / output文件夹的用户权限。 该文件夹应具有针对您的特定用户的写权限。