Node.JS Mongo DB驅動程序沒有拆分批量插入？

Question

我正在嘗試使用Node.JS的標准Mongo DB驅動程序，使用單個collection.insert調用插入大約100k個文檔：

var MongoClient = require('mongodb').MongoClient;

MongoClient.connect('mongodb://localhost/testdb', function(err, db) {
    var collection = db.collection('testcollection');
    var docs = [];

    var doc = {
        str: 'Lorem ipsum dolor sit amet, consectetur adipiscing elit. Etiam sit amet urna consequat quam pharetra sagittis vitae at nulla. Suspendisse non felis sollicitudin, condimentum urna eu, congue massa. Nam arcu dui, sodales eget auctor nec, ullamcorper in turpis. Praesent sit amet purus mi. Mauris egestas sapien magna, a mattis tellus luctus et. Suspendisse potenti. Nam posuere neque at vulputate ornare. Nunc mollis lorem est, at porttitor augue sodales sed. Ut dui sapien, fermentum eu laoreet sed, sodales et augue. Aliquam erat volutpat.'
    };

    for (var i = 0; i < 100000; i++) {
        docs[i] = doc;
    }

    collection.insert(docs, function(err) {
        throw err;
    });
});

但是，我收到以下錯誤：

/var/node/testproject/node_modules/mongodb/lib/mongodb/connection/base.js:242
        throw message;
              ^
Error: Document exceeds maximum allowed bson size of 16777216 bytes
    at InsertCommand.toBinary (/var/node/testproject/node_modules/mongodb/lib/mongodb/commands/insert_command.js:86:11)
    at Connection.write (/var/node/testproject/node_modules/mongodb/lib/mongodb/connection/connection.js:230:42)
    at __executeInsertCommand (/var/node/testproject/node_modules/mongodb/lib/mongodb/db.js:1857:14)
    at Db._executeInsertCommand (/var/node/testproject/node_modules/mongodb/lib/mongodb/db.js:1930:5)
    at insertAll (/var/node/testproject/node_modules/mongodb/lib/mongodb/collection/core.js:205:13)
    at Collection.insert (/var/node/testproject/node_modules/mongodb/lib/mongodb/collection/core.js:35:3)
    at /var/node/testproject/dbtest.js:15:16
    at /var/node/testproject/node_modules/mongodb/lib/mongodb/mongo_client.js:431:11
    at process._tickCallback (node.js:664:11)

由於單個文檔明顯小於16 MB並且給定堆棧跟蹤，因此驅動程序似乎不會自動拆分命令。 我如何解決這個問題，最好不要自己編碼？

Answer 1

我問這些問題是為了澄清你在做什么，並且懷疑文件陣列確實超過了64MB。

您似乎期望這是每個文檔的限制，但您沒想到的是您的整個請求實際上是BSON文檔。

這是mongodb的有線協議的一部分，因此批量請求受到相同的限制，因為您的整個提交的大小不能超過16MB。

如果您查看2.6 文檔中的插入和更新操作的runCommand頁面，則會明確說明。

所以從本質上講，這不是一個錯誤。 您需要分解大批量請求，並將它們保持在16MB大小之下。