适用于分布式计算的Amazon EFS vs S3

Question

我有一个大数据问题，想在20个EC2实例上分发。 我的数据集是在本地生成的，我想对其进行切片以在所有EC2实例中进行分配。 我不太了解块存储，文件存储与对象存储之间的区别，但是对我来说，似乎能够在所有EC2实例上挂载EFS比将数据从S3复制到单个实例的性能更高。 此假设是否正确？如果是，是否可以在不使用Amazon提供的DataSync系统的情况下将数据上传到EFS？

Answer 1

这取决于您的特定用例和软件，但这是一些基本准则

• S3是对象存储。 S3上的数据通过HTTP服务到您的计算机
• EFS是使用NFSv4协议的文件系统存储

EFS比S3贵得多，因为仅保存到其中并从中读取

这是已经在Stack AWS EFS，EBS和S3上进行的比较（差异和何时使用？）

Answer 2

S3就像一个Web服务器。 您可以将文件上传到其中并从中下载文件，但是不能直接在服务器上修改文件。 您必须先下载它，然后进行修改，然后再放回去。

EFS，即NFSv4，就像磁盘一样。 您可以直接编辑文件。 它也比S3贵得多。 要将文件上传到EFS，请将其安装在EC2实例（如普通磁盘）上。

就是说，这听起来像是您要尝试执行的正确答案是使用EMR，如JD D建议 。