在txt文件中寫入RDD

Question

我有以下類型的數據：

  `org.apache.spark.rdd.RDD[org.apache.spark.rdd.RDD[((String, String),Int)]] = MapPartitionsRDD[29] at map at <console>:38`

我想將這些數據寫入一個 txt 文件中

((like,chicken),2) ((like,dog),3) etc.

我將數據存儲在一個名為res的變量中

但目前我試過這個：

res.coalesce(1).saveAsTextFile("newfile.txt")

但它似乎不起作用......

Answer 1

如果我的假設是正確的，那么您會認為輸出應該是單個 .txt 文件，如果它coalesce到一個工人。 這不是 Spark 的構建方式。 它適用於分布式工作，不應試圖將其硬塞進一種不分發輸出的形式。 為此，您應該使用更通用的命令行工具。

newfile.txt ，您應該會看到一個名為newfile.txt的文件夾，其中包含具有您預期輸出的數據文件。