將R軟件包運送到SparkR中的節點

Question

嗨，我想知道是否存在一種解決方案，可以通過spark-submit運送R軟件包並在SparkR的計算節點上使用它們？

Answer 1

壓縮R軟件包的內容，並將其作為my_package.zip運送到集群，即使用spark-submit命令。 這會將zip文件放入SparkR腳本的工作目錄中。

然后，您可以在R腳本中安裝該軟件包：

 install.packages("my_package.zip",repos=NULL)
 library(my_package)

免責聲明：如果您的軟件包依賴於其他軟件包，則需要手動運送和安裝它們。