如何使用 spark scala 將 dataframe 寫入帶有工作表名稱的 csv 文件

Question

我正在嘗試使用選項 sheetName 將 dataframe 寫入 csv 文件，但它不適用於我。

df13.coalesce(1).write.option("delimiter",",").mode(SaveMode.Overwrite).option("sheetName","Info").option("header","true").option("escape","").option("quote","").csv("path")

任何人都可以幫助我嗎

Answer 1

我不認為在 CSV 文件中您實際上有工作表名稱，理想情況下，文件名是 CSV 文件中的工作表名稱。 您可以嘗試更改為 excel 並嘗試..

Answer 2

Spark 在寫為csv時無法直接執行此操作，沒有 sheetName 選項， sheetName路徑是您提到的路徑 as.csv("path")。

Spark使用hadoops文件格式，分區為output路徑下的多個part文件，在你的情況下1個part文件。 除非你真的需要它，否則不要重新分區到 1。

您可以做的一件事是在不重新分區的情況下編寫 dataframe 並使用 HADOOP API 將那些小的許多零件文件合並為單個文件。
這是更多詳細信息使用 spark-csv 編寫單個 CSV 文件

Answer 3

We can only 1 default sheet in csv file if we want multiple sheet then we should write the dataframe to excel format instead of csv file format.