我如何優化這個 Mongo 聚合管道

Question

我正在開發一個應用程序，該應用程序顯示我匯總的匯總數據表，這是儀表板的一部分，我想顯示進入集合的最后幾個事件的示例：

我正在執行此管道，但它導致 OOM 崩潰，因為我在集合中有數百萬個文檔，我能做些什么嗎？ 我想得到最后 5 個文本

Events.aggregate([
    {
        $match: {event_type: {$in: [1,5,10,12]}}
    },
    {
        $group: {
            _id: "$event_type", avgTime: {$avg: "$time"}, avgCost: {$avg: "$cost"}, maxCost: {$max: "$cost"}, maxTime: {$max: "$time"}, texts: {$push: "$text"}
        }
    },
    {
        $addFields: {
            texts: { $slice: ["$text", {$subtract: [{$size: "$text"}, 5]}, {$size: "$text"}]}
        }
    }
])

Answer 1

如果您使用的是 Mongo 5.2+ 版，那么您可以使用新的$lastN運算符，如下所示：

db.collection.aggregate([
  {
    $match: {
      event_type: {
        $in: [
          1,
          5,
          10,
          12
        ]
      }
    }
  },
  {
    $group: {
      _id: "$event_type",
      avgTime: {
        $avg: "$time"
      },
      avgCost: {
        $avg: "$cost"
      },
      maxCost: {
        $max: "$cost"
      },
      maxTime: {
        $max: "$time"
      },
      texts: {
        $lastN: {
          n: 5,
          input: "$text"
        }
      }
    }
  }
])

蒙戈游樂場

如果您使用的是較小的 Mongo 版本，我建議您將其拆分為 2 個調用，並使用可以利用索引的find代替：

const results = await db.collection.aggregate([
  {
    $match: {
      event_type: {
        $in: [
          1,
          5,
          10,
          12
        ]
      }
    }
  },
  {
    $group: {
      _id: "$event_type",
      avgTime: {
        $avg: "$time"
      },
      avgCost: {
        $avg: "$cost"
      },
      maxCost: {
        $max: "$cost"
      },
      maxTime: {
        $max: "$time"
      }
    }
  }
]);

// should use promise all or bluebird here instead, kept it a for loop for readability.
for (let i = 0; i < results.length; i++) {
    const lastTexts = await db.collection.find({event_type: results[i]._id}).sort({_id: -1}).limit(5);
    results[i].texts = lastTexts.map(v => v.text)
}