将具有100,000行的CSV麻烦地保存到MongoDB并在保存所有行之后发出事件

Question

我有一个超过100,000行的CSV文档，并且每行都包含每小时价格数据，需要将其保存为自己的数据库记录。 我希望此操作在保存每一行后通过EventEmitter发出事件，但是相反，在保存所有行之后，整个操作会重复一次，并且我的终端再次说“播种每小时价格2000-当前” 。 谁能帮我解决这个问题？

注意：我正在使用此node-csv-string程序包来处理CSV

奖励：我想在Heroku上部署它，但是偶尔尝试执行此操作会导致内存错误，因此，如果您对如何解决这些问题有任何建议，将不胜感激:)

读取CSV文件，提交给另一个函数进行处理，然后等待回调...

// SEED - HourlyPrices
exports.seed_hourly_prices = function(req, res) {
        console.log("Seeding Hourly Prices 2000-Current");

        // Seed Historical Data 2000 - 2014
        fs.readFile(__dirname + '/../../csv/hourlyprices_2000_2014.csv', 'utf8', function (err, data) {
            if (err) { return console.log(err) };
            save_each_row(data, function(){ 
                console.log("Callback Heard");
                eventEmitter.emit('HistoricalDataSeeded');
            });
        });

}; // seed_hourly_price

处理并保存每一行

save_each_row = function(data, callback) {
CSV.forEach(data,',', function(row, index) {
    if(row[0] && row[1] && row[0].indexOf('*') === -1 && row[1].indexOf('-') === -1) { // 1 hour out of the year contains an asterisk, I don't know why, but it marks a duplicate.  Don't add this.
        var splitDate = row[0].split(/[ ]+/); 
        var hour                        = splitDate[1];
        var day                         = splitDate[0];
        var full_date                   = row[0];
        var price                       = parseFloat(row[1]).toFixed(2);
        var thirty_day_rolling_average  = parseFloat(row[2]).toFixed(2);
        var system_demand               = parseFloat(row[3]).toFixed(2);

        if (hour === "24") {
            date = new Date(day+" 00:00:00");
            date.setDate(date.getDate() + 1);
            date = moment.tz(date, 'America/Phoenix').format("YYYY-MM-DDTHH:mm:ss");
            // Change day, hour, full_date results
            var hour      = '00';
            var day       = moment.utc(date).format('MM/DD/YYYY');
            var full_date = day + " " + hour;
        } else {
            date = new Date(full_date + ":00:00");
            date = moment.tz(date, 'America/Phoenix').format("YYYY-MM-DDTHH:mm:ss");
        };
        // Save Data
        var hourlyprice = new HourlyPrice({
            date:                                     date, 
            day:                                      day,
            hour:                                     hour,
            full_date:                                full_date,
            price:                                    price,
            thirty_day_rolling_average:               thirty_day_rolling_average,
            system_demand:                            system_demand
        });

        hourlyprice.save(function(err, pp){
                if (err) {
                    console.log("ERROR==========================", err);
                    console.log(hourlyprice)
                };
        });
    } else {
        console.log("Ommitted Row:" + index, row);
    };
}); //CSV()
}; // save_each_row

Answer 1

fs.readFile调用会将整个文件读入单个变量。 您需要将其拆分为一个数组，然后对其进行迭代，或者使用类似readline，byline或逐行的模块来创建流。