批处理多个顺序 HTTP 请求并在超时后处理批处理

Question

我使用 Airtable 运行地球科学视频数据库，并构建了一种与其接口的API 代理缓存服务器（它是一个在 4 核上以集群模式运行 PM2 的快速服务器），它还同步所有数据使用Zotero 库并运行机器人以发布到项目的Discord和Twitter 。

同步到 Zotero 的所有代码都设置为处理多个项目，但后来我意识到 Airtable 的自动化功能是有限的，以至于它们一次只能将一个项目（在创建或更新项目时）发送到我的服务器。 为了解决这个问题，我编写了一个简单的模块来批处理 HTTP 请求。 在新提交的情况下，这对我来说很容易，因为我可以告诉服务器批处理中有多少新提交，并在处理它们并将它们同步到 Zotero 之前等待那么多请求。

但是，我想将此扩展到 Airtable 的更新，这对 Zotero 的 API 要求更高，因为例如，如果我向已经有 50 个视频的视频系列添加一个新项目，那只是一个添加请求新项目，但它随后产生了 50 多个请求，其中seriesTotal Zotero 字段必须在 50 个现存系列成员上更新。 所以更重要的是，我可以弄清楚如何从 Airtable 批量处理更新。

问题是，与我已经处理过的批次创建不同，我无法提前告诉我的服务器（相反，对于每个请求，我设置了batch=true和batchSize=n ），整个批次中有多少项目。 因此，唯一的解决方案是处理所有不属于显式批次的项目（即，我在发送到服务器的项目上默认设置batch=false和batchSize=0 ）超时 function，以便当任何请求接收到此端点，并且该项目具有batch=false或batchSize=0 ，它应该在此项目（以及给定间隔内的任何后续项目）到批处理数组，以代码 202 响应，然后在间隔结束后，只有这样才能处理批处理数组并生成 200 响应。 我很难弄清楚如何在 Node.js 中实现这一点。 基本上我需要的功能是：

• 所有 HTTP 对特定端点的请求（来自 Airtable 的更新项目）都具有相同的结构——单个对象以及许多数据属性，包括一个batch: Boolean属性和一个batchSize: number属性。

• 每个新的 HTTP 请求到此端点的batch=false或batchSize=0都需要附加到类似项目的新批处理数组，存储在运行服务器上的 memory 中，将 202 响应发送回 Airtable，并且计时器要么开始（如果在数组中的第一个）或重新启动。

• 当计时器间隔用完时，批处理内容数组随后被传递到处理所有上述同步到 Zotero 和社交媒体机器人的处理，200 响应被发送回 Airtable，并且批处理数组被重置。

下面是我用于此端点的代码，它处理来自 Airtable 的创建和更新的项目。 我已经强调了我需要上述逻辑来适应代码的地方。

批处理.js

const batch = new Map([
  [ 'size', 0 ],
  [ 'content', [] ],
  [ 'modifiedTime', 0 ]
]);

const batchInterval = 60 * 1000;

module.exports = {
  append: (video) => {
    batch.set('size', batch.get('size') + 1);
    batch.set('content', [ ...batch.get('content'), video ]);
    batch.set('modifiedTime', new Date().getTime());
    return batch.get('content');
  },
  clear: () => {
    batch.set('size', 0);
    batch.set('content', []);
    batch.set('modifiedTime', 0);
  },
  interval: batchInterval,
  isExpired: () => new Date().getTime() - batch.get('modifiedTime') > batchInterval,
  size: batch.get('size'),
}

zotero.js

const batch = require('./batch');

const processBatch = (items, res) => {
  // this is where it syncs to Zotero and posts to Discord/Twitter, etc.  Simplifying here for debugging purposes.
  console.log(items);
  return res.status(200).send(items);
}

let timer;

module.exports = {
  syncItems: async ({ body: video }, res, operation) => {
    try {
      if (video.batch && video.batchSize > 1) {
        const data = batch.append(video);

        if (batch.size >= video.batchSize) {
          batch.clear();
          await processBatch(data, res);
        } else {
          res.status(202).send(data);
        }
      } else {
        // <-- here is where the update requests with no known batch size need to be batched, with the timeout.  I keep getting the following error:
        // "Error [ERR_HTTP_HEADERS_SENT]: Cannot set headers after they are sent to the client"
        // But I am not sure how to prevent this in this case
        const data = batch.append(videos);
        if (batch.size === 1) timer = setTimeout(() => { processBatch(data, res) }, batch.interval);
        else timer.refresh();

        if (batch.isExpired()) {
          batch.clear();
          clearTimeout(timer);
        } else {
          res.status(202).send(data);
        }
      }
    } catch (err) {
      console.error(err.message);
    }
  }
}

服务器.js

const express = require('express');
const zotero = require('./zotero');

const app = express();

app.post('/zotero', [ express.urlencoded({ extended: true }), express.json() ], (req, res) => {
  console.log(`Performing zotero/create API request...`);
  zotero.syncItems(req, res, 'create');
});

app.put('/zotero', [ express.urlencoded({ extended: true }), express.json() ], (req, res) => {
  console.log(`Performing zotero/update API request...`);
  zotero.syncItems(req, res, 'update');
});

const listener = app.listen(3000, '0.0.0.0', () => {
  console.log('API proxy listening on port ' + listener.address().port);
});

我希望我已经足够清楚地解释发生了什么。 目前，我无法解决以下错误：

错误 [ERR_HTTP_HEADERS_SENT]：在将标头发送到客户端后无法设置标头 此错误与setTimeout() function 中的processBatch()调用有关。

我似乎无法在这里完全理解逻辑，例如：

1. 项目更新 Object 来自 Airtable。
2. 项目更新 Object 附加到批处理内容数组，并启动计时器。
3. 如果另一个项目更新 object 在计时器到点之前进来，它被添加到批处理内容数组中，一个 202 响应被发送回 Airtable，并且计时器被重置
4. 当定时器被重置时，处理完包含项目更新对象的批处理内容数组，将 200 响应发送回 Airtable，然后清除批处理内容。

谢谢你的时间！