在 EMR 集群上引导 Spark 3.0.0
[英]Bootstrapping Spark 3.0.0 on EMR cluster
问题描述
A few days back Spark 3.0.0 was launched.
几天前 Spark 3.0.0 发布了。 I would like to use some of these functionalities.我想使用其中一些功能。 The default version for Spark on an EMR cluster now is Spark 2.4.5. EMR 集群上的 Spark 的默认版本现在是 Spark 2.4.5。 I specifically make use of PySpark.我专门使用 PySpark。 My question is: how can I install/bootstrap Spark 3.0.0 on an EMR cluster?我的问题是：如何在 EMR 集群上安装/引导 Spark 3.0.0？
Thanks in advance.提前致谢。
1 个解决方案
解决方案1
1 2020-06-22 19:18:39
You'll need to wait for Spark 3 to be available on EMR.您需要等待 Spark 3 在 EMR 上可用。 Judging by past releases you're probably looking at 1 - 3 months从过去的版本来看，您可能需要 1 到 3 个月的时间
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.