带有MongoDB概念的Hadoop

Question

嗨，我是Hadoop和NoSQL技术的新手。 我通过读取存储在HDFS中的文件并进行处理来开始使用世界计数程序进行学习。 现在，我想将Hadoop与MongoDB结合使用。 从这里开始程序。

现在让我感到困惑的是，它在我的本地文件系统上存储了mongodb数据，并以map / reduce的方式从本地文件系统中读取数据到HDFS，然后再次将其写入mongodb本地文件系统中。 当我学习HBase时，我们可以对其进行配置以将其数据存储在HDFS上，而hadoop可以直接在HDFS上对其进行处理（映射/缩小）。 如何配置mongodb以将其数据存储在HDFS上。

我认为将数据存储在HDFS中以进行快速处理是一种更好的方法。 不在本地文件系统中。 我对吗？ 如果我走错了方向，请清除我的概念。

Answer 1

HDFS是一个分布式文件系统，而HBase是一个NoSQL数据库，它使用HDFS作为其文件系统，可以与Hadoop进行快速有效的集成，并且已经证明可以大规模运行。 选择HBase作为NoSQL数据库解决方案时，能够直接在Hadoop中直接使用HBase数据或将其推入HDFS是最大的优势之一-我不认为MongoDB提供与Hadoop和HDFS如此紧密的集成会降低性能和性能。将数据移入/移出数据库的效率问题。

请查看此博客文章，以详细分析MongoDB与Hadoop的集成程度-结论之一是MongoDB对HDFS的写入效果不佳： http : //www.ikanow.com/how-well-does -mongodb-集成与-的Hadoop /

Answer 2

MongoDB并不是在HDFS之上构建的，它并不是真正必要的，因为Mongo已经有了自己的水平扩展和处理跨多台机器存储的数据的方法。

如果需要使用MongoDB和Hadoop，更好的方法是使用MongoDB作为数据源，但处理Hadoop中的所有内容（它将使用HDFS进行任何临时存储）。 处理完数据后，您可以将其写回到MongoDB，S3或任何您想要的地方。

我写了一篇博客文章，在这里详细介绍了如何使用Mongo和Hadoop： http ： //blog.mortardata.com/post/43080668046/mongodb-hadoop-why-how