使用 json2csv 在 nodeJS 中的 csv 文件中动态插入列

Question

我有一个 nodeJS 应用程序，它使用json2csv模块将数据从 MongoDB 集合导出到 CSV 文件。 由于记录数量巨大，因此无法将整个数据存储在变量中。 因此，它从集合中以 1000 个块为单位进行查询并附加到文件中。

const Json2csvParser = require('json2csv').Parser;
....
const totalCount = await Collection.count(filters);
const limit = 1000;
const totalPages = Math.ceil(totalCount / limit);
const records = [];
logger.info({ totalCount, totalPages }, `Total records ${totalCount}`)
for (let page = 0; page < totalPages; page++) {
    const skip = page * limit;
    const data = await Collection.find(filters, { projection }).skip(skip).limit(limit).toArray();
    logger.info(`Records found in page ${page + 1}/${totalPages}: ${data.length}`)
    const records = data.map(ele => flatten(JSON.parse(JSON.stringify(ele))));

    const headers = getHeaders(records);

    const json2csvParser = new Json2csvParser({ fields: headers, header: page === 0 });
    const csvContent = json2csvParser.parse(records);

    fs.appendFileSync(fileName, csvContent, 'utf8');
}

这里getHeaders通过展平文档从文档中的键中提取标题。 例如，如果数据看起来像这样，

{
  orderId:"111012121",
  items: [
    {itemId:"BA29322",name:"Item A"},
    {itemId:"BA29323",name:"Item B"}
  ],
  value: 1000
}

那么标题将如下所示

"orderId","items.0.itemId","items.0.name","items.1.itemId","items.1.name","value"

现在的问题是标题的数量取决于在一个块的items属性中找到的最大元素数量。 即，如果在前 1000 条记录中的items中找到的最大元素数为 2，则标题将如上所示。 但是，如果它在下一组 1000 条记录中有 3 条，那么它看起来像下面

"orderId","items.0.itemId","items.0.name","items.1.itemId","items.1.name","items.2.itemId","items.2.name","value"

这意味着数据未显示在正确的标题下，如下所示。

我该如何处理。 请原谅我的冗长问题。