![](/img/trans.png)
[英]Bull queue: When a job fails, how to stop queue from processing remaining jobs?
[英]NodeJS Bull Stop the queue jobs on a job failed
我的NodeJS
项目中有多个Bull队列,如果前一个队列成功执行,它们将运行。 我试图在这里验证一些 email 地址。
检查 Email 格式(formatQueue)
Email Existence using npm email-existence
package (existenceQueue)
formatQueue
是一个耗时的过程,它将运行RegEx
并验证Email
格式。 但是email-existence
package 大约需要 5-10 秒才能完成。
如果像 20-100 这样的jobs
较少, formatQueue
和existenceQueue
队列可以正常工作。 但是当我一次添加超过大约 1000 个作业时, existenceQueue
失败并出现以下错误
myemail@email.com job stalled more than allowable limit
我检查了HERE和HERE的问题,我认为该过程需要很长时间才能响应,因此添加了limiter
,如HERE所述。 但这对我没有帮助。
如果任何队列中的作业失败,则不会处理下一个作业。 它将停在那里,其他作业将继续waiting
state。
我的代码类似于下面的代码。 请帮我解决这个问题。
队列.js
var formatQueue = new Queue('format', "redis-db-url");
var existenceQueue = new Queue('existence', "redis-db-url");
// ------------ function for adding to queue ------------
module.exports.addToQueue = (emails) => {
emails.forEach(element => {
formatQueue.add(element, { attempts: 3, backoff: 1000 });
});
}
// ------------ Queue Process -------------
// Format Test Process
formatQueue.process(function(job, done){
FormatTest.validate(job.data, (err, data) => {
if(err) done();
else{
job.data = data;
done();
}
});
});
// Existence Test Process
formatQueue.process(function(job, done){
ExistenceTest.validate(job.data, (err, data) => {
if(err) done();
else{
job.data = data;
done();
}
});
});
// ------------ On Cmplete Handlers ------------
formatQueue.on('completed', function(job){
if(job.data.is_well_format){
existenceQueue.add(job.data, { attempts: 3, backoff: 1000 });
}else QueueModel.lastStep(job.data)
});
existenceQueue.on('completed', function(job){
QueueModel.lastStep(job.data)
});
// ------------ To update the emaile ------------
module.exports.lastStep = (data) => {
Emails.updateEmail(data, (err, updated) => {
if(!err) {
formatQueue.clean('completed');
existenceQueue.clean('completed');
}
})
}
- - - - - 更新 - - - - -
处理器花费了太多时间来响应,因此由于我使用超时,作业被stalled
或失败。
我正在尝试在不同的processor
文件 itef 中运行该process
,就像它在bull
文档中一样,我添加了如下文件。
// -------- Queue.js ----------
formatQueue.process(__dirname+"/processors/format-worker.js");
// On Cmplete Handler
formatQueue.on('completed', function(job, result){
console.log(result, "Format-Complete-job"); // result is undefined
if(job.data.is_well_format){
existenceQueue.add(job.data, { attempts: 3, backoff: 1000 });
}else QueueModel.lastStep(job.data)
});
// -------- Queue.js ends ---------
//format-worker.js
Validator = require("../../validators");
module.exports = (job) => {
Validator.Format.validate(job.data, (data) => {
job.data = data;
return Promise.resolve(data);
});
}
现在在我之前使用的作业完成时,我曾经使用更新的作业参数获取作业数据。 现在我没有得到更新的工作数据。 文档中的第二个参数,即result
是undefined
。 现在在这种情况下如何获取更新的作业数据。
尝试可重复的工作
var formatQueue = new Queue('format', "redis-db-url");
var existenceQueue = new Queue('existence', "redis-db-url");
// ------------ function for adding to queue ------------
module.exports.addToQueue = (emails) => {
emails.forEach(element => {
let jobOptions = {
repeat: {
every: 10 * 1000, // Run job every 10 seconds for example
limit: 3 // Maximum number of times a job can repeat.
},
jobId: someUniqueId, // important do not forget this
removeOnComplete: true, // removes job from queue on success (if required)
removeOnFail: true // removes job from queue on failure (if required)
}
formatQueue.add(element, jobOptions);
});
}
// ------------ Queue Process -------------
// Format Test Process
formatQueue.process(function (job, done) {
FormatTest.validate(job.data, (err, data) => {
if (err) {
// Done with error
done(true);
} else {
job.data = data;
// Done without any error
done(false);
}
});
});
// Existence Test Process
existenceQueue.process(function (job, done) {
ExistenceTest.validate(job.data, (err, data) => {
if (err) {
// Done with error
done(true);
} else {
job.data = data;
// Done without any error
done(false);
}
});
});
// ------------ On Complete Handlers ------------
formatQueue.on('completed', function (job) {
if (job.data.is_well_format) {
let jobOptions = {
repeat: {
every: 10 * 1000, // Run job every 10 seconds for example
limit: 3 // Maximum number of times a job can repeat.
},
jobId: someUniqueId, // important do not forget this
removeOnComplete: true, // removes job from queue on success (if required)
removeOnFail: true // removes job from queue on failure (if required)
}
existenceQueue.add(job.data, jobOptions);
} else QueueModel.lastStep(job.data)
});
existenceQueue.on('completed', function (job) {
QueueModel.lastStep(job.data)
});
// ------------ To update the email ------------
module.exports.lastStep = (data) => {
Emails.updateEmail(data, (err, updated) => {
if (!err) {
formatQueue.clean('completed');
existenceQueue.clean('completed');
}
})
}
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.