NodeJS操作順序

Question

我正在嘗試創建一個NodeJS應用程序以提取SQL記錄並將其插入到MongoDB中。 我感興趣的表有些大（超過100萬條記錄）。 對於較小的數據集（<200,000），我的應用程序運行良好，但是在全表上運行會耗盡RAM，並使服務器進入爬網狀態。

看來Node在我的“ for”循環中運行，為每個SQL子選擇分支出多個進程，然后運行MongoDB更新。

我從未見過“ Mongo Connected！” 直到最后一個“獲取活動編號的響應”被寫入屏幕。

#!/var/node/bin/node
var odbc = require("odbc");
var db = new odbc.Database();

var MongoClient = require('mongodb').MongoClient;
var format = require('util').format;

db.open("DSN=<DSN>;SERVER=<SERVER>;DATABASE=<DB>;UID=<UID>;PWD=<PWD>", function (err) {
   if(err) throw err;
   console.log("SQL Connected!");

      var sqlstr = "SELECT TOP 1000 * FROM tbl_A NOLOCK";
      console.log("Executing '" + sqlstr + "' against SQL Server");

      db.query(sqlstr, function (sql1err, rows, moreResults) {
         if (sql1err) throw sql1err;

         for (var i = 0; i < rows.length; i++) {
            InsertActivity(db, rows[i], i, rows.length, function () {});
         }
      });
});

function InsertActivity(sql, activity, cur, total, callback) {
   console.log("Getting Responses for Activity #" + activity.ActivityID);
   var rsql = "SELECT * FROM tbl_Responses NOLOCK WHERE ActivityID = " + activity.ActivityID;
   sql.query(rsql, function (sqlerr, rows, moreResults) {
      if (sqlerr) console.log(sqlerr);
      activity.resonses = rows;

      MongoClient.connect('mongodb://localhost:27017/m', function (merr, mdb) {
         console.log("Mongo Connected!");
         mdb.collection("activity").insert(activity, function () {
            console.log("Inserted Activity #" + activity.ActivityID + " inserted into Mongo");
            mdb.close(function () { console.log("Mongo Disconnected!"); });
            callback();
         });
      });

      if (cur == total - 1) sql.close(function () { console.log("SQL Disconnected!"); });
   });

   console.log(rsql);
}

Answer 1

不幸的是，您需要的是一個未記錄的功能（我會解決這個問題）。 該函數是db.queryResult ，它返回允許您單獨獲取行的結果對象。 這樣可以避免將整個結果集緩沖到內存中。

https://github.com/wankdanker/node-odbc/blob/master/test/test-query-select-fetch.js

var db = require('odbc')();

db.open(connectionString, function (err) {
    db.queryResult('select * from tbl_A NOLOCK', function (err, result) {
        fetchMore();

        function fetchMore() {
            result.fetch(function (err, data) {
                if (!data) {
                    //we're all done, clean up
                }

                doStuffWithData(data, function (err) {
                    fetchMore();
                });
            });
        }
    });
});

function doStuffWithData(data, cb) {
    //do stuff
    cb(null);
}