如何编写拼写Spark数据框？

Question

我有一个Spark应用程序，但是当我尝试将数据帧写入地板时，文件夹创建成功，但是文件夹内没有数据，只有一个名为“ _SUCCESS”的文件

这是我的代码：

def writeToParquet(dataFrame: DataFrame, path: String): Unit = {
    dataFrame.write.parquet(s"$path.parquet")
}

Answer 1

尝试这样做：

假设“ df”是数据框的名称，“ tab1”是要将其存储为的表的名称。

df.write.mode(SaveMode.Overwrite).format("parquet").saveAsTable("tab1")

注意：如果要这样做，则saveAsTable方法会将数据表保存在配置的Hive Metastore中。 让我知道是否有帮助。