应该为不同的排序和过滤条件创建哪些MongoDB索引以提高性能？

Question

我有MongoDB集合，有大约100,000,000条记录。

在网站上，用户使用“优化搜索”功能搜索这些记录，他们可以根据多个条件进行筛选：

• 按国家，州，地区;
• 按价格范围;
• 按行业划分;

此外，他们可以查看已排序的搜索结果：

• 按标题（asc / desc），
• 按价格（asc / desc），
• 通过bestMatch字段。

我需要创建索引以避免上面任何组合的完全扫描（因为用户使用大多数组合）。 遵循Equality-Sort-Range规则来创建索引，我必须创建许多索引：

所有滤波器组合×所有分类×所有范围滤波器 ，如下所示：

country_title
state_title
region_title
title_price
industry_title
country_title_price
country_industry_title
state_industry_title
...
country_price
state_price
region_price
...
country_bestMatch
state_bestMatch
region_bestMatch
...

实际上，我有更多的标准（包括平等和范围）和更多的排序。 例如，我有多个价格字段，用户可以按任何价格排序，因此我必须为每个价格字段创建所有过滤索引，以防用户按该价格排序。

我们使用的是MongoDB 4.0.9，只有一台服务器。

在我进行排序之前，它更容易，至少我可以有一个像country_state_region这样的复合索引，并且当搜索某个区域时，总是在查询中包含country＆state。 但是在最后的排序字段中，我不能再这样做了 - 我必须为所有排序组合创建所有不同的索引，即使是位置（国家/州/地区）。

此外，并非所有产品都有价格，所以我不能只按price字段排序。 相反，我必须创建两个索引： {hasPrice: -1, price: 1}和{hasPrice: -1, price: -1} （这里，hasPrice是-1，要将hasPrice = true的记录始终放在第一位，无论价格排序方向）。

目前，我使用NodeJS代码生成类似于以下的索引（这是简化示例）：

for (const filterFields of getAllCombinationsOf(['country', 'state', 'region', 'industry', 'price'])) {
    for (const sortingField of ['name', 'price', 'bestMatch']) {
        const index = {
            ...(_.fromPairs(filterFields.map(x => [x, 1]))),
            [sortingField]: 1
        };
        await collection.ensureIndex(index);
    }
}

因此，上面的代码生成了90多个索引。 在我的真正任务中，这个数字甚至更多。

是否有可能以某种方式减少索引的数量而不降低查询性能？

谢谢！

Answer 1

首先，在MongoDB中（参考： https ： //docs.mongodb.com/manual/reference/limits/ ），单个集合的索引不能超过64个。 此外，除非没有写入或非常小，否则不应创建64个索引。

是否有可能以某种方式减少索引的数量而不降低查询性能？ 在不牺牲功能和查询性能的情况下，您不能。

你可以做的事情很少:(假设你使用分页来显示结果）

1. 在每列上创建一个单独的（非复合）索引，让MongoDB执行计划器根据它拥有的元信息（基数，数字等）选择索引。 当然，会有性能受到打击。

2. 根据您的判断和一些分析，仅为最常使用的组合创建复合索引。

3. 最重要的是 - 在创建复合索引时，您可以放弃排序列。 假设您基于行业进行过滤并根据价格进行排序。 如果你有一个复合指数（行业，价格），那么一切都会正常。 但是如果你只有行业的索引（假设分页结果），那么对于前几页，查询将会非常快，但是当你转到下一页时会继续降级。 通常，用户在5-6页后不会导航。 此外，您必须记住较大的跳过值，由于排序的32mb内存限制，查询将开始失败。 使用allowDiskUse enable可以通过聚合（而不是查询）来克服这个问题。

4. 如果可以在您的用例中使用，请检查密钥集分页（也称为搜索方法）。