MongoDB 在相关集合中计算数百万个文档

Question

所以，我被困住了，在 Stackoverflow 上出现了我的第一颗子弹，经过多年的潜伏，我绝对需要一些好的建议。 我有两种文档类型：

文章

今天大约有 15,000 篇文章，但在吸引客户时迅速增加。 我们不希望这里有限制。

{ 
    "_id" : ObjectId("5bd054d8fd5298d07ddc293a"), 
    "title" : "A neat title"
}

活动

每篇文章大约有 1k 个活动，写在用户导航的每个营销相关阶段（例如：查看或分享文章）。 为网站带来更多流量将增加文章和活动之间的 1/1000 比率。

{ 
    "_id" : ObjectId("5bbdae8afd529871473c1111"), 
    "article" : ObjectId("5bd054d8fd5298d07ddc293a"), 
    "what" : "view"
}
{ 
    "_id" : ObjectId("5bbdae8afd529871473c2222"), 
    "article" : ObjectId("5bd054d8fd5298d07ddc293a"), 
    "what" : "share"
}

我的目标是汇总计算相关活动的文章：

{ 
    "_id" : ObjectId("5bd054d8fd5298d07ddc293a"), 
    "title" : "A neat title",
    "statistics" : {
        'view':1,
        'share':1,
     }
}

Activity.article 和 Activity.what 上的索引都设置好了。

在小数据集上，我可以通过这种聚合轻松实现我的目标：

db.article.aggregate([
{ $match: { 
    ... some unrelevant match
}},
{ $lookup: {
     from: "activity",
     localField: "_id",
     foreignField: "article",
     as: "activities"
}},
{ $project: {
    data: '$$ROOT',
    views: {$filter: {
        input: '$activities',
        as: 'view',
        cond: {$eq: ['$$what', 'view']}
    }},
    shares: {$filter: {
        input: '$activities',
        as: 'share',
        cond: {$eq: ['$$what', 'share']}
    }}
}},
{ $addFields: {
        'data.statistics.views': { $size: '$views' },
        'data.statistics.shares': { $size: '$shares' }
}},
{ $project: { 
    'data.activities': 0,
    'views': 0,
    'shares': 0
}},
{ $replaceRoot: { newRoot: '$data' } },
])

只要 $lookup 没有超过 16MB 的限制，这就会给我我想要的东西。 如果我有数百万个活动，聚合就会失败，即使文档说明：

聚合管道限制该限制仅适用于返回的文档； 在管道处理过程中，文档可能会超过这个大小

我已经尝试了什么：

1. 添加 allowDiskUse / 失败，它似乎没有写入任何内容，因为我在数据目录中没有看到 _tmp 文件夹
2. 添加 allowDiskUse + cursor / 也失败
3. 使用 { $out:"result" } 将结果保存在临时集合中/ 失败
4. 使用Lookup+Unwind 合并更改聚合/它可以工作，但对于 150 万个活动，结果在 10 秒内返回，因为在 Unwind 之后，管道的每个阶段（即：重新分组以重建文档）不能使用现有索引。
5. 使用内部流水线更改查找/它有效但是对于 20 万个活动，它需要 1.5 分钟（我停止了 150 万个测试） 并在 6 秒内返回结果。 这可能是我最好的马...

我什至尝试过这样的事情：

db.article.aggregate([
    { $match: { 
        ...
    }},
    { $addFields: {'statistics.views': db.activity.find({ "article": ObjectId('5bd054d8fd5298d07ddc293a'), "what" : "view" }).count()
])

效果很好（0.008 秒/文章）。 问题是我无法“可变”该 ObjectId：

db.article.aggregate([
    { $match: { 
            ...
    }},
    { $addFields: {

            'statistics.views': db.activity.find({ "article": ObjectId('5bd054d8fd5298d07ddc293a'), "what" : "view" }).count(),
// ^ returns correct count

            'statistics.querystring': { $let: {
            vars:   { articleid: "$_id", whatvalue: 'view' },
            in:     { 'query':{ $concat: [ "db.activity.find( { 'article': ObjectId('", { $toString: "$$articleid" }, "'), 'what' : '", "$$whatvalue", "' } ).count()" ] } }
            }},
// ^ returns correct query to string


            'statistics.variablequery': { $let: {
            vars: { articleid: "$_id", whatvalue: 'view' },
            in:  db.activity.find( { "article": '$$articleid', "what" : "$$whatvalue" } ).count()
            }},
// ^ returns 0

    }}
])

我对所有解决方案持开放态度，即使我排除了在编写活动时在文章中增加计数器的可能性，也可以更改我的收藏，因为我需要按日期过滤（即：给我上周的所有份额）

Answer 1

活动文档有多大？ 由于它们看起来很小 - 我会将活动作为一个数组保存在文章文档中。 文档限制为 16mb，所以应该没问题，您可以避免磁盘上的 _id 和重复的文章 ID 字段 - 使磁盘上的数据更小。 请记住，MongoDB 不是您的传统 SQL 数据库 - 嵌入式字段和文档是您的朋友。

如果活动将是无限的（即可以永远增长），那么我建议采用分桶方法，每天每篇文章有一个活动文档，例如：

{ 
    "_id" : {
       "article" : ObjectId("5bbdae8afd529871473c2222"),
       "when": "2018-12-27"
    },
    "activities" : [
       {"what": "view", "when": "12:01"},
       {"what": "share", "when": "13:16"}
    ]
}

您可以在“何时”字段中存储完整的时间戳或 ISODates，但这种方法更具可读性，并且可能在磁盘上更紧凑。