使用 R dataframe 在 Azure Databricks 中创建数据库

Question

我在 R dataframe 中有我的最终 output。我需要将这个 output 写入 Azure Databricks 中的数据库。 有人可以帮我语法吗？ 我使用了这段代码：

require(SparkR)
data1 <- createDataFrame(output)
write.df(data1, path="dbfs:/datainput/sample_dataset.parquet", 
   source="parquet", mode="overwrite") 

这段代码运行没有错误，但我没有在数据输入文件夹中看到数据库（在路径中提到）。 还有其他方法吗？

Answer 1

我相信你正在寻找saveAsTable write.df特别是将数据保存在文件系统中，而不是将数据标记为表。

require(SparkR)
data1 <- createDataFrame(output)
saveAsTable(data1, tableName = "default.sample_table", source="parquet", mode="overwrite") 

在上面的代码中， default是一些现有的数据库名称，将在其下创建一个名为sample_table的新表。 如果您提到sample_table而不是default.sample_table那么它将保存在默认数据库中。