[英]How to implement multithreading in loop of api calls nodejs
我在一个数组中有数千个文本对象。 我想将每个文本发送到 API 并将结果保存到一个集合中,并在成功结果时更新另一个集合。
这是我的实现,
let arr = [
{
textId: "123",
text: "This is stackoverflow"
},
{
textId: "678",
text: "I love stackoverflow"
}
];
let textIds = [];
for(let i=0;i<arr.length;i++){
const result = await axios.post("API", {text:arr[i].text});
if(result && result.status === 200){
await db.collections("solutions").insertOne({...arr[i], result});
textIds.push(arr[i].textId);
}
}
await db.collections("texts").updateMany({textId:{"$in":textIds}},{"$set":{solutionFlag: true}});
当我像 10k、20k 文本一样迭代时,这会导致性能不佳。 10k 文本大约需要 1 小时。 如何优化此代码。 worker_threads
会在这里工作吗?
谢谢:)
当您需要 CPU 密集型作业并发时使用工作线程。 这是 IO 密集型并发。 所以,你可以通过使用普通的 Promise 来实现这一点。 您应该收集此调用返回的承诺,并像这样同时运行它们:
const promises = arr.map(elem => axios.post("API", {text:elem.text}));
const results = Promises.all(promises);
发出如此多的并发请求可能不是您想要的。 在这种情况下,请执行以下操作:
var textIds = [];
for (var i = 0; i < n/concurrency_factor; ++i) {
const promises = arr.slice(i*concurrency_factor, (i+1)*concurrency_factor);
const results = Promises.all(promises);
textIds = textIds.concat(results.map(res => res.id));
}
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.