在 Scala 中使用数据集创建 CSV

Question

我已经从 scala 中的数据集创建了 CSV 文件。 它正在创建 CSV 文件，但它是 0 字节。

在阅读 dbutils.fs.head(csv_path) 时给出错误

“java.lang.IllegalArgumentException：无法指向目录：csv_path”

```result_dataset.coalesce(1)
   .write.format("com.databricks.spark.csv")
   .option("charset", "UTF-8")
   .option("header", "true")
   .option("sep",",")
   .save(csv_path)```

谁能帮我这个？ 我认为 CSV 在创建文件时已损坏。 有什么解决办法吗？

Answer 1

我大约有 1 年没有使用过 Databricks，但我记得你可以像这样将数据框保存到 CSV。

以CSV格式写入数据框的内容：

df.write.csv("/data/home/csv")

将整个数据帧写入单个 CSV 文件：

df.coalesce(1).write.csv("/data/home/sample.csv")

为了完整起见，如果您想将 CSV 读入数据框，您可以这样做。

# path to file
path = 'file:/databricks/driver/us.csv'

# load data using sqlContext
df = sqlContext.read.format("csv")\
    .option("header","true")\
    .option("inferSchema","true")\
    .load(path)

# displat table format
display(df)