如何使用scala在apache spark中存儲操作的結果

Question

如何在 apache Spark Scala 中存儲從以下操作生成的結果：在輸出目錄中計數？

    val countval= data.map((_,"")).reduceByKey((_+_)).count

以下命令不起作用，因為計數未存儲為 RDD：

    countval.saveAsTextFile("OUTPUT LOCATION")

有沒有辦法將 countval 存儲到本地/hdfs 位置？

Answer 1

在您調用count它不再是 RDD。

Count 只是Long並且它沒有saveAsTextFile方法。

如果您想存儲您的countval您必須像處理任何其他 long、string、int...

Answer 2

@szefuf 說的是正確的， count完之后，你就有了一個Long ，你可以用任何你想要的方式保存它。 如果您想使用.saveAsTextFile()將其保存為RDD ， .saveAsTextFile()必須將其轉換為 RDD：

 sc.parallelize(Seq(countval)).saveAsTextFile("/file/location")

SparkContext 中的parallelize方法將一組值轉換為 RDD，因此您需要先將單個值轉換為單個元素序列。 然后你可以保存它。