如何循环遍历一个非常大的 2D 数组而不会造成重大的性能损失？

Question

我试图在一个 ionic 应用程序中的 JavaScript 中迭代一个非常大的 2D 数组，但它主要使我的应用程序陷入困境。

一点背景知识，我使用 StencilJS 创建了自定义搜索组件，该组件提供有关键盘输入的建议。 您使用字符串数组（搜索建议）提供组件。 每个单独的字符串都被逐字标记并拆分为一个数组和小写

例如，“红翅黑鸟”变成

['red','winged','blackbird']

因此，标记字符串数组如下所示：

[['red','winged','blackbird'],['bald','eagle'], ...]

现在，我在一个大阵列中拥有 10,000 多个这些较小的阵列。

然后，我对用户在每次按键时输入的搜索词进行标记。

之后，我将每个标记化搜索词数组与较大数组中的每个标记化建议数组进行比较。

因此，我有 2 个嵌套的 for-of 循​​环。

此外，我使用 Levenshtein distance 将每个搜索词与每个建议数组的每个元素进行比较。

Answer 1

我喝了几杯酒，所以当我偶然发现时请耐心等待。

要开始 id 做一些类似反向索引的事情（不是很有用）。 它非常接近您已经在做的事情，但有几个额外的步骤。

首先检查所有结果并标记、词干、删除停用词、开封、合并等。 看起来您已经完成了此操作，但我正在添加一个示例以供完成。

const tokenize = (string) => {
  const tokens = string
    .split(' ') // just split on words, but maybe rep
    .filter((v) => v.trim() !== '');
    
  return new Set(tokens);
};

接下来我们要做的是生成一个映射，它以一个单词为键，并返回一个该单词出现在其中的文档索引列表。

const documents = ['12312 taco', 'taco mmm'];
const index = {
  '12312': [0],
  'taco': [0, 1],
  'mmm': [2]
};

我想你可以看到这会把我们带到哪里......我们可以标记我们的搜索词并找到每个标记所属的所有文档，使用一些排名魔法，获得前 5 名，等等等等，然后得到我们的结果。 这通常是谷歌和其他搜索巨头进行搜索的方式。 他们在预计算上花费了大量时间，以便他们的搜索引擎可以按数量级划分候选人并发挥他们的魔力。

下面是一个示例片段。 这需要大量的工作（请记住，我一直在喝酒）但它在> .3ms 内运行了一百万条记录。 我通过生成 2 个字母的单词和短语来作弊，只是为了我可以演示有时会发生冲突的查询。 这真的无关紧要，因为查询时间平均与记录数成正比。 请注意，此解决方案会返回包含所有搜索词的记录。 它不关心上下文或其他什么。 您必须弄清楚排名（如果您此时关心的话）才能达到您想要的结果。

const tokenize = (string) => {
  const tokens = string.split(' ')
    .filter((v) => v.trim() !== '');
    
  return new Set(tokens);
};

const ri = (documents) => {
  const index = new Map();
  
  for (let i = 0; i < documents.length; i++) {
    const document = documents[i];
    const tokens = tokenize(document);
    
    for (let token of tokens) {
      if (!index.has(token)) {
        index.set(token, new Set());
      }
      
      index.get(token).add(i);
    }
  }
  
  return index;
};

const intersect = (sets) => {
  const [head, ...rest] = sets;
  
  return rest.reduce((r, set) => {
    return new Set([...r].filter((n) => set.has(n)))
  }, new Set(head));
};

const search = (index, query) => {
  const tokens = tokenize(query);
  const canidates = [];
  
  for (let token of tokens) {
    const keys = index.get(token);
    
    if (keys != null) {
        canidates.push(keys);
    }
  }
  
  return intersect(canidates);
}

const word = () => Math.random().toString(36).substring(2, 4);
const terms = Array.from({ length: 255 }, () => word());

const documents = Array.from({ length: 1000000 }, () => {
  const sb = [];
  
  for (let i = 0; i < 2; i++) {
    sb.push(word());
  }
  
  return sb.join(' ');
});

const index = ri(documents);
const st = performance.now();
const query = 'bb iz';
const results = search(index, query);
const et = performance.now();

console.log(query, Array.from(results).slice(0, 10).map((i) => documents[i]));
console.log(et - st);

如果需要，您可以进行一些改进。 喜欢……排名！ 这个例子的全部目的是展示我们如何将 100 万个结果减少到大约一百个候选者。 search功能通过intersection进行了一些后过滤，这可能不是您想要的，但此时您做什么并不重要，因为结果太小了。