使用Mongodb Hadoop Connector进行分片

Question

嗨，我有这个问题提到的情况相同的Hadoop HDFS MapReduce输出到MongoDb

我只想使用Hadoop从Mongodb执行Map Reduce（MR），然后将输出作为集合写回到MongoDB。 尽管上述问题尚未解决，但在这种情况下我还有更多问题。 在这里，我需要将MR的输出写入MongoDB分片并正确分片。

我的问题是，是否有可能发生这种情况，因为即使我使用MongoDB（而不是Hadoop）来执行MR，我也无法将输出正确地拆分为分片服务器，并且结果重复输出。 如果可能的话，该怎么做？ 提前致谢。

Answer 1

是。 您照常写给mongo。 您的mongo db设置为在分片上运行的事实是一个对您隐藏的细节。