有没有办法在 sparkR 中加载 .RData 或 .model 文件（使用数据块）？

Question

我在 databricks 环境中使用 sparkR，我正在尝试加载使用 RStudio 创建的 XGB 模型。

我将模型保存为 .RData 和 .model（使用xgb.save ）类型（只是为了增加我完成这项工作的机会），然后将这两个文件上传到 DBFS（databricks）内的文件夹。

现在，使用数据块，我想加载模型，以便我可以将其应用于新数据，但我总是收到相同的错误消息。 这是代码和错误：

%r
# Trying to load the .RData file
load(file='/FileStore/tables/folder/xgb_model.RData')

readChar(con, 5L, useBytes = TRUE) 中的错误：无法打开连接 readChar(con, 5L, useBytes = TRUE) 中的错误：无法打开连接 readChar(con, 5L, useBytes = TRUE) 中的错误：无法打开联系

%r
# Trying to load the .model file
xgb.load("/FileStore/tables/folder/xgb_model.model")

xgb.Booster.handle(modelfile = modelfile) 中的错误：xgb.Booster.handle(modelfile = modelfile) 中的错误：[23:34:59] amalgamation/../dmlc-core/src/io/local_filesys.cc： 209：检查失败：allow_null：LocalFileSystem::Open“/FileStore/tables/folder/xgb_model.model”：没有那个文件或目录

这甚至可能吗？

Answer 1

FileStore是一个位于 DBFS 上的特殊文件夹，因此要访问此数据，R 代码需要了解 DBFS。 但是在您的情况下，它只能与本地文件一起使用，这就是它失败的原因。 要使其将FileStore中的文件作为本地文件使用，您需要在文件名前添加/dbfs/ ，例如/dbfs/FileStore/tables/folder/xgb_model.model （请注意它可能不适用于社区带有 7.x 运行时的版本）