Amazon EC2-网络问题

Question

我们正在Amazon EC2上启动hadoop集群，最近我们遇到了网络问题，例如主机无​​法连接到从机。 我们认为原因是由于亚马逊限制网络连接超过限制。 因此，我们尝试在每个从属节点经过随机延迟后建立连接。 但是，这没有帮助。

还有其他建议吗？

谢谢你巴拉

Answer 1

您是否尝试过使用cloudera的hadoop-ec2脚本？ 我一直在使用它们来为我的论文研究建立偶尔的hadoop集群，我发现它们可以很好地工作。 设置过程需要几分钟，但是一旦完成，您就可以

hadoop-ec2 launch-cluster <clustername> <number of slaves>

它会设置您需要的所有内容，通常做得很好。 有时候，节点不会启动或启动，但是终止集群然后重试很容易，而且成本也不高。

您可以在此处找到设置它们的说明：

http://archive.cloudera.com/docs/ec2.html

Answer 2

您在群集实例使用的安全组中是否打开了正确的端口？ 我对Hadoop不熟悉，但是如果它使用自定义的TCP / IP或UDP端口在节点之间进行通信，则需要在安全组中指定它。

Answer 3

使用Amazon Elastic MapReduce可以缓解许多问题，并为S3和节点之间提供一些IO增强功能，以及一些AWS特定补丁，以提高健壮性。

除非需要特定版本的Hadoop，否则远离EC2群集脚本可能是明智的选择，但实际上不应该这样做。