Sparklyr 未連接到 Databricks

Question

我正在嘗試使用 sparklyr 或 SparkR 連接到數據塊。

現在我正在嘗試使用 sparklyr。

這就是我安裝 sparklyr 的方式

install.packages("sparklyr")

sparklyr::spark_install()  #installing spark

sprk <- spark_connect(master = "local")    # this code works perfectly and it connects to the spark, and i can work further

sc <- spark_connect(method = "databricks")  # this is not working 

Error i get is: Error in value[[3L]](cond) : 
                Failed to start sparklyr backend: there is no package called ‘SparkR’

為什么我在使用 sparklyr 時需要使用 SparkR...如何解決這個問題，我需要連接到數據塊。

Answer 1

您可以按照https://docs.microsoft.com/en-us/azure/databricks/dev-tools/databricks-connect的說明在本地安裝和配置 databricks-connect。 按照 R/RStudio 會話中的代碼，使用sparkR.session()啟動 spark 會話，使用sc <- spark_connect(master = "local")連接到 spark，然后您可以使用 sparklyr。 但是，與在 databricks notebook 中運行 sparklyr 相比，當您從遠程位置連接到 databricks 時，不支持某些 sparklyr 功能。