部署Spark的最佳方式？

Question

在YARN或EMR而不是EC2上部署Spark有很大的优势吗？ 这将主要用于研究和原型设计，并且可能使用Scala。 我们不愿意不使用EC2主要源于额外的基础设施和其他选项涉及的复杂性，但也许它们也提供了实质性的好处？

我们主要是从/向S3读/写数据。

Answer 1

让我们区分不同的层：有基础设施层，即火花作业应该在哪些（虚拟）机器上运行。 可能的选项包括本地机器群集或从EC2租用的虚拟机群集。 特别是当从/向S3写入大量数据时，EC2可能是一个很好的选择，因为两个服务都很好地集成，并且通常在相同的数据中心运行（为您提供更好的网络性能）。

然后第二层是软件/调度，即什么软件连接所有这些机器来安排和运行你的火花工作。 这里的选项包括Yarn （来自Hadoop项目的调度程序）， Mesos （能够处理非hadoop工作负载的通用调度程序）和Myriad （基本上是Mesos上的Yarn）。

可以在这里找到Yarn和Mesos之间的良好比较。

EMR为您提供了轻松启动Hadoop / YARN群集的选项。 甚至存在引导操作，允许您在此类群集上安装spark 。

希望这有助于回答你的问题！

Answer 2

EMR与EC2“相同”，但是在它们上面安装了Hadoop。 如果您不需要Hive / Pig或Hadoop本身，那么我认为您将无需支付EMR的额外费用。 结论：如果您只需要Spark更好地使用EC2，那么您可以通过“点击几下”获得SPARK集群。 你只需要使用：spark-ec2脚本来获取它：

• https://spark.apache.org/docs/latest/ec2-scripts.html
• http://ampcamp.berkeley.edu/exercises-strata-conf-2013/launching-a-cluster.html

另一件事是当你说YARN ...我认为你误解了这些概念：EC2，EMR和YARN。 我自己解释一下：YARN（又一个资源谈判者）是SPARK在大型机器集群上运行的两种选择之一。 您可以在Mesos 上使用Spark或在纱线 上使用Spark 。

请参考这里： http ： //radar.oreilly.com/2015/02/a-tale-of-two-clusters-mesos-and-yarn.html

Answer 3

哪个在我们在spot实例上生成的mesos集群上使用Spark，这使得它非常昂贵。

此外，如果您使用Spark访问S3，您可能希望使用DirectOutputCommitter删除写入Hadoop时所需的一些eoverhead