Spark_Apply For TM庫拋出錯誤

Question

我想在sparklyr使用TM庫的sparklyr 。 我同樣使用了函數spark_apply() 。 但是我收到以下錯誤

錯誤：無法從類data.frame的對象中檢索spark_connection

當我運行我的代碼時。 以下是我的代碼段

myFunction <- function(sparkdataframe){ 
  inputdf<-collect(sparkdataframe)
  inputdf<-as.matrix(inputdf)
  inputdf1<-t(inputdf)
  doc<-Corpus(VectorSource(inputdf1))
  doc<-tm_map(doc,removePunctuation)
  data.frame(doc = sapply(doc, as.character), stringsAsFactors = FALSE)
  return(doc)
}

# Use spark_apply to run function in Spark
spark_apply(sparkdataframe,function(e) (myFunction(e)))

Answer 1

那是因為您嘗試在閉包中collect ：

inputdf<-collect(sparkdataframe)

您的函數接收的對象是普通的R data.frame 。 完全刪除此行，然后將以下行替換為：

inputdf<-as.matrix(sparkdataframe)