node.js将两个数组与对象进行比较

Question

我需要从mongo数据库中删除所有文档，这些文档不存在于带有对象的新数组中。 所以我有对象数组：

var items = [
{product_id:15, pr_name: 'a', description : 'desc'},
{product_id:44, pr_name: 'b', description : 'desc2'}
{product_id:32, pr_name: 'c', description : 'desc3'}];

并且我有通过调用Model.find（{}）获得的带有db值的数组。 因此，现在我以“直接”方式进行操作：

async.each(products, function (dbProduct, callback) { //cycle for products removing
    var equals = false;

    async.each(items, function(product, callback){
        if (dbProduct.product_id === product.product_id){
            product.description = dbProduct.description;// I need to save desc from db product to new product
            equals = true;
        }
        callback();
    });

    if (!equals) {
        log.warn("REMOVE PRODUCT " + dbProduct.product_id);
        Product.remove({ _id: dbProduct._id }, function (err) {
            if (err) return updateDBCallback(err);
            callback();
        });
    }

});

但是它阻塞了整个应用程序，而且速度很慢，因为我的items数组和数据库中也有大约5000个值。 因此它的周期数非常大。 也许可以有一个更快的方法？

UPDATE1使用下面的代码，来自TbWill4321回答：

var removeIds = [];

// cycle for products removing
async.each(products, function (dbProduct, callback) {
    for ( var i = 0; i < items.length; i++ ) {
        if (dbProduct.product_id === product.product_id) {
            // I need to save desc from db product to new product
            product.description = dbProduct.description;
            // Return early for performance
            return callback();
        }
    }

    // Mark product to remove.
    removeIds.push( dbProduct._id );
    log.warn("REMOVE PRODUCT " + dbProduct.product_id);
    return callback();
}, function() {
    Product.remove({ _id: { $in: removeIds } }, function (err) {
        if (err) return updateDBCallback(err);
        // Continue Here.
        // TODO
    });
});

它大约需要11秒（阻止整个网络应用），并且需要12 362 878个周期。 所以也许有人可以建议我一些事情？

Answer 1

在您可能遇到的许多问题中，您可能想通过更改以下内容来开始：

Product.remove({ _id: dbProduct._id }, function (err) {
        if (err) return updateDBCallback(err);
        callback();
});

在.each()调用中，您将对要删除的每个元素进行一次数据库调用。 最好将所有id存储在一个数组中，然后进行单个查询以删除该数组中具有_id的所有元素。 像这样

Product.remove({ _id: {$in: myArrayWithIds} }, function (err) {
        if (err) return updateDBCallback(err);
        callback();
});

另一个要注意的是，由于async将同步执行，所以node.js确实提供了setImmediate() （ 此处为文档），它将在事件循环内执行该函数。 因此，基本上，您可以“暂停”新元素的执行，并处理所有传入请求以模拟“非阻塞”处理。

Answer 2

在异步库不以异步方式执行同步代码。

5000个项目对于JavaScript来说并不是一个很大的数目，因为我已经研究了500万以上的大数据集，并且用不了多长时间。 您可以通过以下结构来获得更好的性能：

var removeIds = [];

// cycle for products removing
async.each(products, function (dbProduct, callback) {
    for ( var i = 0; i < items.length; i++ ) {
        if (dbProduct.product_id === product.product_id) {
            // I need to save desc from db product to new product
            product.description = dbProduct.description;
            // Return early for performance
            return callback();
        }
    }

    // Mark product to remove.
    removeIds.push( dbProduct._id );
    log.warn("REMOVE PRODUCT " + dbProduct.product_id);
    return callback();
}, function() {
    Product.remove({ _id: { $in: removeIds } }, function (err) {
        if (err) return updateDBCallback(err);
        // Continue Here.
        // TODO
    });
});