如何根据 Mongodb 中的条件删除重复项？

Question

{
"_id" : ObjectId("5d3acf79ea99ef80dca9bcca"), 
"memberId" : "123",
"generatedId" : "00000d2f-9922-457a-be23-731f5fefeb14",
"memberType" : "premium"
},

{
"_id" : ObjectId("5e01554cea99eff7f98d7eed"), 
"memberId" : "123",
"generatedId" : "34jkd2092sdlk02kl23kl2309k2309kr",
"memberType" : "premium"
}

我有 100 万个类似这种格式的文档，如何根据“memberId”删除重复的文档。 我需要删除“generatedId”值不包含“-”的重复文档。 在此示例中，应删除底部文档，因为它在“generatedId”值中不包含“-”。 有人可以分享任何想法如何做到这一点。

Answer 1

好吧，可以有一个策略，但仍然很大程度上取决于您的数据。

假设你拿你的文件。 按它们的 ID 对它们进行分组以进行计数（重复），然后从重复中分离出所有那些 generateId 不包含连字符“-”的条目。 当您获得这些重复且也不包含 - 在它们的 generatedId 中的文档时，您可以删除它们。

const result = await Collection.aggregate([
{
    $project: {
        _id: 1, // keep the _id field where it is anyway
        doc: "$$ROOT", // store the entire document in the "doc" field
    },
},
{
    $group: {
        _id: "$doc.memberId", // group by the documents by memeberId
        count: { $sum: 1 }, // count the number of documents in this group
        generatedId: { $first: "$doc.generatedId" }, // for keeping these values to be passed to other stages
        memberType: { $first: "$doc.memberType" }, //  for keeping these values to be passed to other stages
    },
},
{
    $match: {
        count: { $gt: 1 }, // only show what's duplicated because it'll have count greater than 1

        // It'll match all those documents not having - in them
        generatedId: { $regex: /^((?!-).)*$/g } / g,
    },
},
]);

现在在结果中，您将在其 generateId 中拥有与 memberId 重复但没有的文档。 您可以查询它们以进行删除。

警告：根据您的数据，某些重复的 memberId 可能在其生成的 Id 中根本没有“-”，因此您可能会删除所有文档。

在执行可能表现不确定的操作之前，请务必进行备份。

Answer 2

db.collection.aggregate([
{ 
 // first match all records with having - in generatedId
 "$match" : { "generatedId" : { "$regex": "[-]"} } },

 // then group them
  { 
   "$group": { 
        "_id": "$memberId", 
  }}

])