mongoDB-MapReduce完成创建NaN值

Question

我为以下数据结构创建了MapReduce作业：

{ "_id" : 1), "docid" : 119428, "term" : 5068, "score" : 0.198 }
{ "_id" : 2), "docid" : 154690, "term" : 5068, "score" : 0.21 }
{ "_id" : 3), "docid" : 156278, "term" : 5068, "score" : 0.128 }

{ "_id" : 4), "docid" : 700, "term" : "fire", "score" : 0.058 }
{ "_id" : 5), "docid" : 857, "term" : "fire", "score" : 0.133 }
{ "_id" : 6), "docid" : 900, "term" : "fire", "score" : 0.191 }
{ "_id" : 7), "docid" : 902, "term" : "fire", "score" : 0.047 }

我想按学期分组，然后计算平均分数。

这是我的MapReduce函数：

db.keywords.mapReduce( 
  function(){ 
      emit( this.term, this.score ); 
  }, 
  function(key, values) { 
      rv = { cnt : 0, scoresum : 0}; 
      rv.cnt = values.length; rv.scoresum = Array.sum(values); 
      return rv; 
  },  
  { 
     out: "mr_test" , 
     finalize: function(key, reduceVal) { 
        reduceVal.avg = reduceVal.scoresum / reduceVal.cnt; 
        return reduceVal;  
     } 
   } 
)

一些计算值是正确的：

{ "_id" : 5068, "value" : { "cnt" : 5, "scoresum" : 0.887, "avg" : 0.1774 } }

但是其他人正在创建一些奇怪的结构：

    { "_id" : "fire", "value" : { "cnt" : 333, "scoresum" : "[object 
BSON][object BSON]0.176[object BSON]0.1010.181[object BSON][object .....BSON]
[object BSON][object BSON]0.1910.1710.2010.363[object BSON][object BSON]", "avg" : NaN } }

我的MapReduce函数出了什么问题？

Answer 1

您已经从文档中错过了处理mapReduce操作的基本规则：

对于同一个键，MongoDB可以多次调用reduce函数。 在这种情况下，该键的化简函数的先前输出将成为该键的下一个化简函数调用的输入值之一。

这意味着“映射器”和“缩减器”函数必须发出完全相同的结构，并考虑该结构作为输入。 当然的问题是，如果您在reduce函数中输出不同的结构，那么下次它返回reduce时，输入的结构不是预期的。

这是mapReduce通过逐步减少直到给定密钥只有一个结果的方式来处理同一密钥的大数据的方式：

db.keywords.mapReduce( 
  function(){ 
      emit( this.term, { "cnt": 1, "score": this.score } );
  }, 
  function(key, values) { 
      rv = { "cnt" : 0, "score" : 0 }; 
      values.forEach(function(value) {
          rv.cnt += value.cnt;
          rv.score += value.score;
      });
      return rv;
  },  
  { 
      "out": "mr_test" , 
      "finalize": function(key, reduceVal) { 
          reduceVal.avg = reduceVal.score / reduceVal.cnt; 
          return reduceVal;  
      } 
   }
)

但是实际上，使用.aggregate()方法可以更有效地完成整个工作：

db.keywords.aggregate([
    { "$group": {
        "_id": "$term",
        "cnt": { "$sum": 1 },
        "score": { "$sum": "$score" },
        "avg": { "$avg": "$score" }
    }},
    { "$out": "aggtest" }
])

甚至还有$avg聚合累加器，可让您单次获得平均值。

与mapReduce不同，此处使用的运算符以本机代码执行，而不是解释后的JavaScript。 结果更快，并且数据传递更少。

实际上， $group上只有一次传递， $out只是集合的可选输出，而不是返回默认的游标。 与mapReduce相比，游标是另一个优势。