將RDD [Row]另存為scala中的文件

Question

我制作了RDD [Row] data（myData）並嘗試將其保存為文件

myData.saveAsFile("path")

output
(a, 100, testcontenct)
(b, 200, stackoverflow)

它運作良好，但是由於它將被視為csv，因此我需要刪除'（'和'）'符號。 我的最終目標輸出是

a, 100, testcontenct
b, 200, stackoverflow

如何制作沒有這些符號的輸出文件。

Answer 1

您可以使用databricks csv庫： https : //github.com/databricks/spark-csv

我認為它僅適用於數據幀，但是您可以輕松地將RDD轉換為數據幀

import sqlContext.implicits._
val myDf = myData.toDF

然后將其寫入文件

myDf.write
    .format("com.databricks.spark.csv")
    .save("path")