在SparkR中使用CRAN包

Question

如果我想在SparkR中使用像MXNet這樣的標准R軟件包，這可能嗎？ 可以在Spark分布式環境中使用標准CRAN包，而無需考慮本地與Spark Dataframe。 處理R和Spark中的大型數據集的策略是使用Spark數據幀，減少Dataframe，然后將其轉換為本地data.frame以使用標准CRAN包嗎？ 還有其他我不了解的策略嗎？

謝謝

Answer 1

可以在Spark分布式環境中使用標准CRAN包，而無需考慮本地與Spark Dataframe。

不，他們不能。

處理R和Spark中的大型數據集的策略是使用Spark數據幀，減少Dataframe，然后將其轉換為本地data.frame 。

可悲的是，大部分時間這都是你做的。

還有其他我不了解的策略嗎？

Spark 2.0中的dapply和gapply函數可以將任意R代碼應用於分區或組。

Answer 2

對於某些操作，您可以使用對本地R數據幀和Spark數據幀使用統一語法的包。 例如，如果您使用Sparklyr ，則dplyr可以將標准數據爭用操作推送回Spark群集。 只有在需要本地操作時才會獲取數據。