如何为大数据集群分配物理资源？

Question

我有三台服务器，我想在这些服务器上部署Spark Standalone Cluster或Spark on Yarn Cluster。 现在我有一些关于如何为大数据集群分配物理资源的问题。 例如，我想知道我是否可以在同一节点上部署Spark Master Process和Spark Worker Process。 为什么？

服务器细节：

CPU Cores: 24
Memory: 128GB

我需要你的帮助。 谢谢。

Answer 1

当然你可以，只需将主人与主人放在奴隶中。 在我的测试服务器上，我有这样的配置，主机也是工作节点，并且有一个仅限工作的节点。 一切都好

但是请注意，那就是工作人员会失败并导致重大问题（即系统重启），那么你就会遇到问题，因为也会受到影响。

编辑：问题编辑后的更多信息:)如果您使用YARN（如建议的那样），您可以使用动态资源分配。 下面是一些关于它的幻灯片， 这里文章从MAPR。 这是一个很长的主题，如何为给定的情况正确配置内存，我认为这些资源将为您提供很多相关知识

BTW。 如果您已经安装了Hadoop集群，可以尝试YARN模式;）但这不是问题