使用Mongodb Hadoop Connector進行分片

Question

嗨，我有這個問題提到的情況相同的Hadoop HDFS MapReduce輸出到MongoDb

我只想使用Hadoop從Mongodb執行Map Reduce（MR），然后將輸出作為集合寫回到MongoDB。 盡管上述問題尚未解決，但在這種情況下我還有更多問題。 在這里，我需要將MR的輸出寫入MongoDB分片並正確分片。

我的問題是，是否有可能發生這種情況，因為即使我使用MongoDB（而不是Hadoop）來執行MR，我也無法將輸出正確地拆分為分片服務器，並且結果重復輸出。 如果可能的話，該怎么做？ 提前致謝。

Answer 1

是。 您照常寫給mongo。 您的mongo db設置為在分片上運行的事實是一個對您隱藏的細節。