是否有适合此问题的数据结构或优化？

Question

我有一个Node.JS服务器，我有一个字典（哈希/地图）（键是数字，值 - 数组）。 字典的每个元素都是一个ID（字符串）数组，并且有许多元素。 数组的每个元素在其数组中都是唯一的。 例如：

let map = {2333:['id1', 'id2', 'id3', 'id4'], 1234:['id3', 'id4', 'id5'], 123213:['id4', 'id5', 'id77']}

有对服务器的查询，它向数组或字典添加新元素。 这经常发生。 还有另一种类型的查询，我们的字典中有一组几个键作为参数。 我需要遍历该集合，通过集合中的键找到字典中的所有数组，并计算每个ID发生的次数。 这是我直截了当的解决方案：

let queryArray = [1234, 123213];
let result = {};//Resulting hash of ID's occurrences
for(let i=0; i<queryArray.length; i++){
    let key = queryArray[i];
    if(!key) continue;
    let array = map[key];
    for(let j=0; j<array.length; j++){
        let id = array[j];
        if(!result[id]) result[id] = 0;
        result[id]++;
    }
 }
//result = {'id3':1, 'id4':2, 'id5':2, 'id77':1};

这种操作经常在服务器上发生，我需要以某种方式对其进行优化。 你有什么想法？ 答案的编程语言无关紧要。

Answer 1

您可以为计数查询创建元数据对象。
如果您能够复制所拥有的数据大小，则可以应用此方法。

 const map = { 2333: ["id1", "id2", "id3", "id4"], 1234: ["id3", "id4", "id5"], 123213: ["id4", "id5", "id77"] }; const counts = { 2333: { id1: 1, id2: 1, id3: 1, id4: 1 }, 1234: { id3: 1, id4: 1, id5: 1 }, 123213: { id4:1, id5: 1, id77: 1 } } // queryArray 1234, 123213 function getQuery(queryArray) { let result = {}; //Resulting hash of ID's occurrences queryArray.forEach(query => { const count = counts[query] Object.keys(count).forEach(id => { result[id] = (result[id] || 0) + count[id] }) }) return result } console.log(getQuery([1234,123213])) 

这种方法将摆脱计数id出现但增加内存使用量。 但是我觉得你需要速度比记忆更多。

还有一件事要实现，就是如何维护计数对象。 但这取决于您如何向地图添加ID。 无论何时添加/删除某些内容，都需要更新计数对象。

Answer 2

只需创建第二个映射作为反向字典：

let map = {
    2333: ['id1', 'id2', 'id3', 'id4'],
    1234: ['id3', 'id4', 'id5'],
    123213: ['id4', 'id5', 'id77']
}

let idcounts = {
    'id1': 1,
    'id2': 1,
    'id3': 2,
    'id4': 3,
    'id5': 2,
    'id77': 1
}

添加新id时增加idcounts[id] ，删除时减少idcounts[id] 。

如果您有很多重叠ID，请考虑创建一个单独的映射以将ID字符串映射到整数键，然后使用字典中的int。

---

话虽如此，由于其单线程架构，Node.JS真的不适合CPU或内存密集型工作。 您可能需要考虑将查找工作卸载到Redis等外部服务，或者使用Go或C ++之类的语言和地图周围的互斥体来允许并行查找访问。