異步計數器 function

Question

我是 JS/nodeJS 世界的新手，我對異步思維方式有一些困難......

app.post("/upload", upload.array("files"), uploadFiles);
function uploadFiles(req, res) {
    req.files.forEach(function(file) {
        var linesInserted = 0;
        var linesInError = 0;
        fs.createReadStream(file.destination + file.filename)
        .pipe(parse({ delimiter: ",", columns: false, fromLine: 2 }))
        .on("data", function (row) {
            Model.findOneAndUpdate(
                { code: row[0] },
                { 
                    $set: { 
                        a: row[1],
                        b: row[2],
                        c: row[4],
                        d: row[5],
                        e: row[6],
                        f: moment(row[7], "DD/MM/YYYY").toISOString(),
                        g: moment(row[8], "DD/MM/YYYY").toISOString(),
                        h: row[12].split(/\s/)[0].replace(',','.')
                    },
                    $setOnInsert: { 
                        i: row[0], 
                        j: "airbnb",
                        k: row[3],
                        l: moment(row[10], "DD/MM/YYYY").toISOString()
                    },
                    $push: { 
                        connectedTo: [{ m : "xxx" }, { service: "n", serviceId: "o" }] 
                    }
                },
                { 
                    upsert: true,
                    runValidators: true
                },
                function(err, res) {
                    if (err) {
                        console.log(err);
                        linesInError++;
                    } else if (res) {
                        console.log(linesInserted);
                        linesInserted++;
                    }
                }
            );
        })
        .on("end", function () {
            File.create({
                file: file.destination + file.filename,
                originalName: file.originalname,
                linesInserted: linesInserted,
                linesInError: linesInError
            });

            console.log(`File ${file.originalname} - ${file.destination + file.filename} imported`);
        })
        .on("error", function (error) {
            console.log(error.message);
        });
    });
    res.json({ counterFilesImported: req.files.length });
}

使用此代碼，問題在於，最后 File 的值對於 linesInserted 和 linesInError 為 0。 這些計數器在讀取文件期間遞增，但在“結束”時它們的值為 0。我知道這是異步調用的問題，但我找不到任何解決方案。

我想檢索計數器的“真實”值。

感謝您的幫助 ！

Answer 1

您的問題是 stream 盡可能快地推送數據/行，完成后它會調用end但它不會在檢查 lineCount 之前等待處理行。

我對流的感覺很復雜，但 根據文檔，它們是異步可迭代的； 我知道如何合作。

我已將代碼更改為 Promises。

app.post("/upload", upload.array("files"), function (req, res) {
  processFiles(req.files);

  res.json({ counterFilesImported: req.files.length });
});

async function processFiles(files) {
  for (const file of files) {
    try { // to catch stream errors

      let linesInserted = 0;
      let linesInError = 0;

      const stream = fs.createReadStream(file.destination + file.filename)
        .pipe(parse({ delimiter: ",", columns: false, fromLine: 2 }));

      for await (const row of stream) {
        try {
          await Model.findOneAndUpdate(
            { code: row[0] },
            {
              $set: {
                a: row[1],
                b: row[2],
                c: row[4],
                d: row[5],
                e: row[6],
                f: moment(row[7], "DD/MM/YYYY").toISOString(),
                g: moment(row[8], "DD/MM/YYYY").toISOString(),
                h: row[12].split(/\s/)[0].replace(',', '.')
              },
              $setOnInsert: {
                i: row[0],
                j: "airbnb",
                k: row[3],
                l: moment(row[10], "DD/MM/YYYY").toISOString()
              },
              $push: {
                connectedTo: [{ m: "xxx" }, { service: "n", serviceId: "o" }]
              }
            },
            {
              upsert: true,
              runValidators: true
            }
          );

          ++linesInserted;

        } catch (err) {

          console.log(err);
          ++linesInError;
        }
      }

      File.create({
        file: file.destination + file.filename,
        originalName: file.originalname,
        linesInserted: linesInserted,
        linesInError: linesInError
      });

      console.log(`File ${file.originalname} - ${file.destination + file.filename} imported`);
    } catch (error) {
      // error with the stream/file
      console.log(error.message);
    }
  }
}