"如何对非常大的数组中的每个元素使用axios get方法并将结果保存在json文件中而不会出现enobufs错误？"

Question

我有一个非常大的数组，长度为 17000，包含整数。 现在对于数组中的每个元素，我想发出 axios.get() 请求并将响应保存在 json 文件中。

当我以下列方式执行此操作时，我得到了 enobuf 错误。 我的代码：

for (const id of ids) {
    axios
      .get(`${BASE_URL}/${id}?json=1`)
      .then((response) => {
          fs.writeFileSync(res)
      })
      .catch((err) => {
        console.log("error ", err);
      });
  }

Answer 1

首先，这段代码中的每一个循环迭代都不会等待axios<\/code>调用的结果。
其次，您需要将整个大数组分成任何合理的块大小的块，例如，如果您希望同时处理一些元素，可以使用lodash.chunk<\/code>方法。 第三，您肯定需要使用fs.writeFileSync<\/code>的异步版本，请参阅fs.Promises<\/a>

const chunks = _.chunk(ids, 10)
const writeResult = async (id) => {
  const res = await axios.get(`${BASE_URL}/${id}?json=1`)
  const fileName = id
  await fs.Promises.writeFile(fileName, res)
}
for (const chunk of chunks) {
  await Promise.all(chunk.map(x => writeResult(x))
}