有沒有辦法在 sparkR 中加載 .RData 或 .model 文件（使用數據塊）？

Question

我在 databricks 環境中使用 sparkR，我正在嘗試加載使用 RStudio 創建的 XGB 模型。

我將模型保存為 .RData 和 .model（使用xgb.save ）類型（只是為了增加我完成這項工作的機會），然后將這兩個文件上傳到 DBFS（databricks）內的文件夾。

現在，使用數據塊，我想加載模型，以便我可以將其應用於新數據，但我總是收到相同的錯誤消息。 這是代碼和錯誤：

%r
# Trying to load the .RData file
load(file='/FileStore/tables/folder/xgb_model.RData')

readChar(con, 5L, useBytes = TRUE) 中的錯誤：無法打開連接 readChar(con, 5L, useBytes = TRUE) 中的錯誤：無法打開連接 readChar(con, 5L, useBytes = TRUE) 中的錯誤：無法打開聯系

%r
# Trying to load the .model file
xgb.load("/FileStore/tables/folder/xgb_model.model")

xgb.Booster.handle(modelfile = modelfile) 中的錯誤：xgb.Booster.handle(modelfile = modelfile) 中的錯誤：[23:34:59] amalgamation/../dmlc-core/src/io/local_filesys.cc： 209：檢查失敗：allow_null：LocalFileSystem::Open“/FileStore/tables/folder/xgb_model.model”：沒有那個文件或目錄

這甚至可能嗎？

Answer 1

FileStore是一個位於 DBFS 上的特殊文件夾，因此要訪問此數據，R 代碼需要了解 DBFS。 但是在您的情況下，它只能與本地文件一起使用，這就是它失敗的原因。 要使其將FileStore中的文件作為本地文件使用，您需要在文件名前添加/dbfs/ ，例如/dbfs/FileStore/tables/folder/xgb_model.model （請注意它可能不適用於社區帶有 7.x 運行時的版本）