从 node.js（fs 模块）中的文件 stream 中删除最后一个字符

Question

使用 node.js，我正在尝试构建一个对象数组并将它们写入文件。 为此，我使用了内置的 fs 库。

调用var file = fs.createWriteStream('arrayOfObjects.json'); 和file.write('[')我运行几个异步函数最终 append 对象是这样的：

file.write(JSON.stringify(objectToAppend) + ',\n')

我可以确定所有对象何时停止附加，这就是我运行file.write(']')和file.end()的地方。 我的问题是将最后一个逗号添加到最后一个 object 导致 JSON 无效。

由于脚本的异步特性，很难确定最后一个 object 的创建位置和时间，所以我想知道是否有办法从文件流中删除或删除字符。 如果是这样，我可以在添加最后一个']'字符之前执行此操作。

我可以手动执行此操作，但我希望将 pipe 用于另一个应用程序。 我想到的唯一解决方案是使用fs.truncate() function，但这似乎不适用于文件流，并且file.length或file.length()都不会给我内容的长度，因为它不是字符串，因此很难确定截断文件的方式或位置。

现在我刚刚在数组末尾添加了'{}]'以使其有效 JSON，但是这个空的 object 可能会在以后引起一些问题。

另请注意：我在此 stream 中写入的对象数组非常大，因此我宁愿不结束 stream 并重新打开文件。

Answer 1

我建议先添加分隔符，以便在第一次调用后动态调整它：

file.write('[\n')
var sep = "";
forEach(function(objectToAppen) {
    file.write(sep + JSON.stringify(objectToAppend))
    if (!sep)
        sep = ",\n";
});

Answer 2

使用JSONStream示例：

var JSONStream = require('JSONStream');
var fs         = require('fs');

var jsonwriter = JSONStream.stringify();
var file       = fs.createWriteStream('arrayOfObjects.json');

// Pipe the JSON data to the file.
jsonwriter.pipe(file);

// Write your objects to the JSON stream.
jsonwriter.write({ foo : 'bar#1' });
jsonwriter.write({ foo : 'bar#2' });
jsonwriter.write({ foo : 'bar#3' });
jsonwriter.write({ foo : 'bar#4' });

// When you're done, end it.
jsonwriter.end();

Answer 3

这是一个包含robertklep答案的片段。 这将从管道分隔文件转换为json：

var fs = require('fs');
var readline = require('readline');
var JSONStream = require('JSONStream');


// Make sure we got a filename on the command line.
if (process.argv.length < 3) {
  console.log('Usage: node ' + process.argv[1] + ' FILENAME');
  process.exit(1);
}

var filename = process.argv[2];
var outputFilename = filename + '.json';
console.log("Converting psv to json. Please wait.");
var jsonwriter = JSONStream.stringify();
var outputFile = fs.createWriteStream(outputFilename);
jsonwriter.pipe(outputFile);

var rl = readline.createInterface({
   input: fs.createReadStream(filename),
   terminal: false
}).on('line', function(line) {
  console.log('Line: ' + line);
   if(!/ADDRESS_DETAIL_PID/.test(line))
   {     
     var split = line.split('|');
     var line_as_json = { "address_detail_pid":  split[0], "flat_type": split[1], "flat_number": split[2], "level_type": split[3], "level_number": split[4], "number_first": split[5], "street_name": split[6], "street_type_code": split[7], "locality_name": split[8], "state_abbreviation": split[9], "postcode": split[10], "longitude": split[11], "latitude": split[12] };
     jsonwriter.write(line_as_json);
   }    
}).on('close', () => {
  jsonwriter.end();
});;

console.log('psv2json complete.');

Answer 4

接受的答案很有趣（在分隔符前面），但在我的情况下，我发现 append 分隔符并删除文件的最后一个字符更容易，正如问题中所建议的那样。

这是使用 Node.js 删除文件的最后一个字符的方法：

import fs from 'fs'

async function removeLastCharacter(filename) {
  const stat = await fs.promises.stat(filename)
  const fileSize = stat.size

  await fs.promises.truncate(filename, fileSize - 1)
}

解释：

• fs.promises.stat为我们提供了有关文件的一些信息，我们将使用它的size 。
• fs.promises.truncate从文件中删除某个 position 之后的内容
• 我们使用 position fileSize - 1是最后一个字符。

注意：是的，我知道我们需要等到 stream 关闭，但这没关系，因为truncate和stat函数非常快并且不依赖于文件大小，它不必读取其内容。