堆栈内存溢出
  繁体   English   中英

MongoDB：使用聚合中的 $lookup 在嵌套文档上填充 arrays

[英]MongoDB: populating arrays on nested document with $lookup in aggregation

 原文  2020-04-17 05:08:03  8   2    mongodb/ nested/ aggregate/ grouping/ lookup

问题描述

我有这三个 collections，我正在尝试通过“加入”来自其他两个 collections 的数据来完全填充messages_lists集合的messages字段。

1. 消息列表：

{ 
    "_id" : ObjectId("5e96207ea4143b3204373534"), 
    "name" : "6bq32q8TcP", 
    "messages" : [
        {
            "inserted" : ISODate("2020-04-14T20:43:42.086+0000"), 
            "srcId" : "DNWLMSNW217480-20200414T194933Z"
        }, 
        {
            "inserted" : ISODate("2020-04-16T17:40:22.585+0000"), 
            "srcId" : "DNWLMSNW217737-20200416T163914Z"
        }
    ]
}

2.消息：

{ 
    "_id" : ObjectId("5e9615205bbcbe360ad40fb7"),
    "srcId" : "DNWLMSNW217480-20200414T194933Z", 
    "status" : "expired",  
    "versions" : [
        {
            "direction" : NumberInt(-1), 
            "points" : [ 50080.028, 50080.029 ]  
        }, 
        {
            "direction" : NumberInt(1), 
            "points" : [ 50080.028, 50080.029 ] 
        }
    ]
},
{ 
    "_id" : ObjectId("5e988b95ab20413033dbe9fb"), 
    "status" : "expired", 
    "srcId" : "DNWLMSNW217737-20200416T163914Z",  
    "versions" : [
        {
            "direction" : NumberInt(1), 
            "points" : [ 50060.096, 50060.097 ] 
        }, 
        {
            "direction" : NumberInt(-1), 
            "points" : [ 50060.096, 50060.097 ]
        }
    ]
}

3. loc_points：

{ 
    "locId" : 50060.096, 
    "road" : "A1", 
    "locCity" : NumberInt(445), 
    "locState" : NumberInt(260) 
},
{  
    "locId" : 50060.097, 
    "road" : "A1", 
    "locCity" : NumberInt(445), 
    "locState" : NumberInt(260) 
},
{ 
    "locId" : 50080.028, 
    "road" : "A2", 
    "locCity" : NumberInt(690), 
    "locState" : NumberInt(260)
},
{ 
    "locId" : 50080.029, 
    "road" : "A2", 
    "locCity" : NumberInt(690), 
    "locState" : NumberInt(260), 
}

我的 mongoDB 版本是 3.4.4，这是我解决问题的尝试：

第 1 步：我能够使用此查询成功完成第一个 $lookup 阶段：

db.getCollection("message_lists").aggregate([
    { $match: { name: '6bq32q8TcP' } },
    { $unwind: { path: '$messages', preserveNullAndEmptyArrays: true }},
    { $lookup: {
        from: 'messages',
        localField: 'messages.srcId',
        foreignField: 'srcId',
        as: 'messages'
    }},
    { $unwind: { path: '$messages', preserveNullAndEmptyArrays: true }},
    { $group: { 
        _id: null, 
        messages: { $push: '$messages' }
    }},
])

我对从上述查询中得到的结果完全满意。 它看起来像这样，并且基本上设法将原始messages集合中的messages_list集合的参考messages.srcId替换为messages集合中包含的完整消息数据：

{ 
    "_id" : null, 
    "messages" : [
        {
            "_id" : ObjectId("5e9615205bbcbe360ad40fb7"), 
            "srcId" : "DNWLMSNW217480-20200414T194933Z",
            "status" : "expired", 
            "versions" : [
                {
                    "direction" : NumberInt(-1), 
                    "points" : [ 50080.028, 50080.029 ] 
                }, 
                {
                    "direction" : NumberInt(1), 
                    "points" : [ 50080.028, 50080.029 ] 
                }
            ] 
        }, 
        {
            "_id" : ObjectId("5e988b95ab20413033dbe9fb"), 
            "srcId" : "DNWLMSNW217737-20200416T163914Z",
            "status" : "expired", 
            "versions" : [
                {
                    "direction" : NumberInt(1), 
                    "points" : [ 50060.096, 50060.097 ]
                }, 
                {
                    "direction" : NumberInt(-1), 
                    "points" : [ 50060.096, 50060.097 ] 

                }
            ] 
        }
    ]
}

第 2 步：此步骤的目标是使用loc_points集合中的数据填充messages.versions.points arrays 以获得最终结果，该结果应该如下所示：

这就是我需要的结果：

{ 
    "_id" : null, 
    "messages" : [
        {
            "_id" : ObjectId("5e9615205bbcbe360ad40fb7"), 
            "srcId" : "DNWLMSNW217480-20200414T194933Z",
            "status" : "expired", 
            "versions" : [
                {
                    "direction" : NumberInt(-1), 
                    "points" : [ 
                      { 
                          "locId" : 50080.028, 
                          "road" : "A2", 
                          "locCity" : NumberInt(690), 
                          "locState" : NumberInt(260)
                      },
                      { 
                          "locId" : 50080.029, 
                          "road" : "A2", 
                          "locCity" : NumberInt(690), 
                          "locState" : NumberInt(260), 
                      }
                    ] 
                }, 
                {
                    "direction" : NumberInt(1), 
                    "points" : [ 
                      { 
                          "locId" : 50080.028, 
                          "road" : "A2", 
                          "locCity" : NumberInt(690), 
                          "locState" : NumberInt(260)
                      },
                      { 
                          "locId" : 50080.029, 
                          "road" : "A2", 
                          "locCity" : NumberInt(690), 
                          "locState" : NumberInt(260), 
                      }
                    ] 
                }
            ] 
        }, 
        {
            "_id" : ObjectId("5e988b95ab20413033dbe9fb"), 
            "srcId" : "DNWLMSNW217737-20200416T163914Z",
            "status" : "expired", 
            "versions" : [
                {
                    "direction" : NumberInt(1), 
                    "points" : [ 
                      { 
                          "locId" : 50060.096, 
                          "road" : "A1", 
                          "locCity" : NumberInt(445), 
                          "locState" : NumberInt(260) 
                      },
                      {  
                          "locId" : 50060.097, 
                          "road" : "A1", 
                          "locCity" : NumberInt(445), 
                          "locState" : NumberInt(260) 
                      }
                    ]
                }, 
                {
                    "direction" : NumberInt(-1), 
                    "points" : [ 
                      { 
                          "locId" : 50060.096, 
                          "road" : "A1", 
                          "locCity" : NumberInt(445), 
                          "locState" : NumberInt(260) 
                      },
                      {  
                          "locId" : 50060.097, 
                          "road" : "A1", 
                          "locCity" : NumberInt(445), 
                          "locState" : NumberInt(260) 
                      }
                    ] 
                }
            ] 
        }
    ]
}

为了到达那里，我的理解是我需要执行额外的 $lookup ，如下所示：

{ $lookup: {
    from: 'loc_points',
    localField: 'messages.versions.points',
    foreignField: 'locId',
    as: 'messages.versions.points',
}},
{ $unwind: { path: '$messages.versions.points', preserveNullAndEmptyArrays: true }}

然而，经过一整天的研究并阅读了至少五个其他 stackoverflow 线程，我无法找到类似于我的深层嵌套文档结构的解决方案。

如果更熟悉 mongoDB 聚合框架的人可以在这里帮助我，我将非常感激！ 先感谢您！！

编辑：在乔的以下建议之后，我在最后的 $group 语句之前添加了第二个 $lookup 。 所以现在我的整体查询如下所示：

db.getCollection("message_lists").aggregate([
    { $match: { name: '6bq32q8TcP' } },
    { $unwind: { path: '$messages', preserveNullAndEmptyArrays: true }},
    { $lookup: {
        from: 'messages',
        localField: 'messages.srcId',
        foreignField: 'srcId',
        as: 'messages'
    }},
    { $unwind: { path: '$messages', preserveNullAndEmptyArrays: true }},
    { $lookup: {
        from: 'loc_points',
        localField: 'messages.versions.points',
        foreignField: 'locId',
        as: 'messages.versions.points',
    }},
    { $group: { 
        _id: null, 
        messages: { $push: '$messages' }
    }}
])

但是，结果messages.versions.points作为空数组返回，所有其他version字段都丢失了， messages.versions甚至不再是数组：

{ 
    "_id" : null, 
    "messages" : [
        {
            "_id" : ObjectId("5e9615205bbcbe360ad40fb7"), 
            "srcId" : "DNWLMSNW217480-20200414T194933Z",
            "status" : "expired", 
            "versions" : {
                "points" : [
                ]
            },  
        }, 
        {
            "_id" : ObjectId("5e988b95ab20413033dbe9fb"), 
            "srcId" : "DNWLMSNW217737-20200416T163914Z",
            "status" : "expired", 
            "versions" : {
                "points" : [
                ]
            },  
        }
    ]
}

我根本无法弄清楚我需要如何修改 $group 语句才能正确填充messages.versions.points 。 任何帮助表示赞赏，（我知道，来自 MySQL 世界我表明我还没有完全掌握聚合的概念，但同时我正在努力寻找适合我的场景的教程）

2 个解决方案

解决方案1
 0  2020-04-17 07:38:31

$lookup阶段为管道中的每个源文档返回一个数组。

如果您使用了在现有管道之后记下的附加$lookup阶段，它将添加一个数组，该数组将包含任何消息的任何版本所引用的点集。

为了获得为每条消息的每个版本填充的点，必须取消这些点。 您已经有了消息，因此您需要展开版本并运行额外的查找，然后按消息分组以将版本收集回数组中，然后是现有组以收集消息。

解决方案2
 0 已采纳  2020-04-19 15:10:07

试试这个

db.message_lists.aggregate([
    {
        $unwind: '$messages'
    },
    {
        $lookup: {
            from: 'messages',
            localField: 'messages.srcId',
            foreignField: 'srcId',
            as: 'messages'
        }
    },
    {
        $project: {
            _id: 1,
            name: 1,
            message: { $arrayElemAt: ["$messages", 0] },
        }
    },
    {
        $unwind: '$message.versions'
    },
    {
        $unwind: '$message.versions.points'
    },
    {
        $lookup: {
            from: 'loc_point',
            localField: 'message.versions.points',
            foreignField: 'locId',
            as: 'points'
        }
    },
    {
        $unwind: '$points'
    },
    {
        $project: {
            _id: 1,
            name: 1,
            message: {
                _id: '$message._id',
                srcId: '$message.srcId',
                status: '$message.status',
                versions: {
                    direction: "$message.versions.direction",
                    points: '$points'
                }
            }
        }
    },
    {
        $group: {
            _id: { message_id: '$message._id', direction: '$message.versions.direction' },
            name: { $first: '$name' },
            srcId: { $first: '$message.srcId' },
            status: { $first: '$message.status' },
            points: {
                $push: '$message.versions.points'
            }
        }
    },
    {
        $group: {
            _id: '$_id',
            name: { $first: '$name' },
            srcId: { $first: 'srcId' },
            status: { $first: '$status' },
            versions: {
                $push: {
                    direction: '$_id.direction',
                    points: '$points'
                }
            }
        }
    },
    {
        $project: {
            _id: "$_id.message_id",
            name: 1,
            srcId: 1,
            status: 1,
            versions: 1
        }
    },
    {
        $unwind: '$versions'
    },
    {
        $group: {
            _id: '$_id',
            status: { $first: '$status' },
            srcId: { $first: '$srcId' },
            versions: { $push: '$versions' }

        }
    },
    {
        $group: {
            _id: null,
            messages: { $push: '$$ROOT' }
        }
    }
])

暂无
暂无

声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

相关问题 Mongodb聚合嵌套查找 MongoDB 聚合 - 我如何“$lookup”嵌套文档“_id”？ MongoDb聚合查找嵌套数组 Mongodb聚合框架和嵌套的$ lookup 具有嵌套文档的Mongodb $ lookup 嵌套文档上的MongoDB $查找 MongoDB 聚合框架分组并与数组中的嵌套文档合并 具有嵌套对象数组的 MongoDB 聚合 MongoDB 多个嵌套 arrays 上的聚合 MongoDb聚合$ lookup与数组中的外部_id
相关标签
 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM