在txt文件中写入RDD

Question

我有以下类型的数据：

  `org.apache.spark.rdd.RDD[org.apache.spark.rdd.RDD[((String, String),Int)]] = MapPartitionsRDD[29] at map at <console>:38`

我想将这些数据写入一个 txt 文件中

((like,chicken),2) ((like,dog),3) etc.

我将数据存储在一个名为res的变量中

但目前我试过这个：

res.coalesce(1).saveAsTextFile("newfile.txt")

但它似乎不起作用......

Answer 1

如果我的假设是正确的，那么您会认为输出应该是单个 .txt 文件，如果它coalesce到一个工人。 这不是 Spark 的构建方式。 它适用于分布式工作，不应试图将其硬塞进一种不分发输出的形式。 为此，您应该使用更通用的命令行工具。

newfile.txt ，您应该会看到一个名为newfile.txt的文件夹，其中包含具有您预期输出的数据文件。