使用節點流將 JSON 附加到文件

Question

根據我在此處閱讀的內容，我正在使用fs.createWriteStream將一些 JSON 寫入文件。 我正在處理大約 50 個塊的數據。所以在腳本的開頭，我打開我的流，然后使用一個函數將它傳入，以及一些 JSON，它非常適合編寫。

const myStream = fs.createWriteStream(
  path.join(RESULTS_DIR, `my-file.json`),
  {
    flags: 'a'
  }
)


function appendJsonToFile(stream, jsonToAppend) {
  return new Promise((resolve, reject) => {
    try {
      stream.write(JSON.stringify(jsonToAppend, null, 2)
      resolve('STREAM_WRITE_SUCCESS')
    } catch (streamError) {
      reject('STREAM_WRITE_FAILURE', streamError)
    }
  })
}

appendJsonToFile(myStream, someJson)

但是，由於要寫入的每條數據都是一個對象數組，因此我最終在文件中獲得的結構將如下所示：

[
    {
        "data": "test data 1",
    },
        {
        "data": "test data 2",
    }
][
    {
        "data": "test data 3",
    },
        {
        "data": "test data 4",
    }
]

我如何附加這些數據，以便結果是正確格式化的 JSON，而不僅僅是一系列數組？

Answer 1

如果文件始終按照您上面所說的進行格式化，則您需要做的三件事是：

1. 找出文件的當前長度並減去 2 個字符（ \\n] ，因為末尾沒有換行符），
2. 刪除您保存的 JSON 的第一個字符，
3. 使用r+模式和start保存文件
4. 每次保存后結束流。

這是createWriteStream options的鏈接。

現在另一件事是第 4 點使得這相當低效，並質疑是否應該在這里使用流媒體的整個想法。 我認為它確實有道理，但這里的問題是，如果您需要在寫入之間讀取文件 - 如果不是，那么您應該在中間使用轉換流並在文件之間添加刷新，並在所有工作完成后（ beforeExit ) 你只需結束流。

你可以根據定義來做到這一點，但我是一個名為scramjet的框架的作者，它使這些情況更容易：

const myStream = new scramjet.DataStream();

const file = path.join(RESULTS_DIR, `my-file.json`)
const start = fs.statSync(file).size - 2;

myStream
    .flatten()
    .toJSONArray()
    .shift(1)
    .pipe(fs.createWriteStream(
        file,
        {flags: 'r+', start}
    ));

function appendJsonToFile(stream, jsonToAppend) {
    return new Promise((resolve, reject) => {
        try {
            stream.write(jsonToAppend)
            resolve('STREAM_WRITE_SUCCESS')
        } catch (streamError) {
            reject('STREAM_WRITE_FAILURE', streamError)
        }
    })
}

appendJsonToFile(myStream, someJson)

process.on('beforeExit', myStream.end());

你可以像上面一樣使用它，但如果你更喜歡用普通的節點流來處理這個，這應該會推動你朝着正確的方向前進。

Answer 2

我將使用 Error 和 FILE NOT FOUND 處理程序解決代碼。 來自 Michał Karpacki 的解決方案。

const path = require('path');
const fs = require('fs');

const getFolderPath = () => __dirname || process.cwd();
const getFilePath = (fileName) => path.join(getFolderPath(), `${fileName}`);

/**
 * @param {string} fileName - Included File Name & its Extension
 * @param {Array<*>} arrayData
 * @return {Promise<*>}
 */
const writeFileAsync = async (fileName, arrayData) => {
    const filePath = getFilePath(fileName);

    return new Promise((resolve, reject) => {
        try {
            const _WritableStream = fs.createWriteStream(filePath, {flags: 'r+', start: fs.statSync(filePath).size - 2});
            _WritableStream.write(JSON.stringify(arrayData, null, 2).replace(/\[/, ','), (streamError) => {
                return reject(['STREAM_WRITE_FAILURE', streamError]);
            });
            return resolve('STREAM_WRITE_SUCCESS');
        } catch (streamError) {
            /** ERROR NOT FOUND SUCH FILE OR DIRECTORY !*/
            if (streamError.code === 'ENOENT') {
                fs.mkdirSync(getFolderPath(), {recursive: true});
                return resolve(fs.writeFileSync(filePath, JSON.stringify(
                    Array.from({...arrayData, length: arrayData.length}), null, 2
                )));
            }
            /** ERROR OUT OF BOUND TO FILE SIZE RANGE - INVALID START POSITION FOR WRITE STREAM !*/
            if (streamError instanceof RangeError) {
                console.error(`> [ERR_OUT_OF_RANGE] =>`, streamError);
                const _WritableStream = fs.createWriteStream(filePath, {flags: 'r+'});
                return resolve(_WritableStream.write(JSON.stringify(arrayData, null, 2), (streamError) => {
                    return reject(['STREAM_WRITE_FAILURE', streamError]);
                }));
            }
            return reject(['STREAM_WRITE_FAILURE', streamError]);
        }
    });
};

(() => writeFileAsync('test1.json',
    [{
        key: "value 1"
    }, {
        key: "value 2"
    }]
))();

/* Output after 1st time run =>
[
  {
    "key": "value 1"
  },
  {
    "key": "value 2"
  }
]
*/
/* Output after 2nd time run => 
[
  {
    "key": "value 1"
  },
  {
    "key": "value 2"
  },
  {
    "key": "value 1"
  },
  {
    "key": "value 2"
  }
]
*/