[英]Thread pool queue with unique tasks
我正在使用ThreadPoolTaskExecutor (spring)来异步执行某些任务。
所需任务将从外部DB加载一些对象到我的系统内存中。 我使用的最大线程池大小为10,最大队列大小为100。
假设所有10个线程都被占用从我的数据库中获取对象并创建了一个任务,它将进入队列。 现在创建了另一个任务,它应该从DB获取相同的对象(DB中的相同键),它也将进入队列(假设所有10个线程仍然被占用)。
因此,我的队列可能很容易完成重复任务,这些任务将依次执行,我不希望这种情况发生。
我认为解决方案应该以独特集合的形式出现,该集合充当线程池队列。 在引擎盖下,ThreadPoolTaskExecutor使用LinkedBlockingQueue,它不提供唯一性。
我想到了一些可能的解决方案,但没有一个满足我:
这导致我尝试扩展LinkedBlockingQueue并覆盖add:
public boolean add(E e)
if(!this.contains(e)) {
return super.add(e);
} else {
return false;
}
}
但据我所知,由于contains
方法受到O(n)的限制,这将导致性能大幅降低 - 这是一个坏主意。
有什么可以解决我的问题? 我的目标是获得良好的性能(在内存性能权衡的情况下,我不介意放弃内存以提高性能)。
使用Guava和ListenableFuture你可以做类似的事情(没有经过测试)
Set<String> uniqueQueue = Sets.newConcurrentHashSet();
ThreadPoolExecutor threadPoolExecutor = new ThreadPoolExecutor(10, 10, 0, TimeUnit.SECONDS, Queues.newLinkedBlockingQueue(100));
ListeningExecutorService executorService = MoreExecutors.listeningDecorator(threadPoolExecutor);
String t1 = "abc";
if(uniqueQueue.add(t1)) {
ListenableFuture<String> future = executorService.submit(() -> "do something with " + t1);
Futures.addCallback(future, new FutureCallback<String>() {
@Override
public void onSuccess(String result) {
uniqueQueue.remove(t1);
}
@Override
public void onFailure(Throwable t) {
uniqueQueue.remove(t1);
}
});
}
导致
uniqueQueue
) uniqueQueue
删除 这个实现不处理
submit()
方法抛出的Exceptions
unqiueQueue
最大项目数 根据您将数据库中的对象加载到内存中的要求,您可能需要查看Guava的Caches 。
更新 :
类似于公认解决方案的解决方案,但基于Spring(与Guava相对):
创建接口RunnableWithId :
public interface RunnableWithId extends Runnable {
/**
* @return A unique id for this task
*/
String getTaskId();
}
创建另一个接口TaskWithIdExecutor :
import org.springframework.core.task.TaskExecutor;
public interface TaskWithIdExecutor extends TaskExecutor {
/**
* Executes the given task if it is not queued or already running
*
* @param task The task to execute
*/
void executeIfNotQueuedOrRunningAlready(RunnableWithId task);
}
创建自定义执行程序UniquTaskExecutor :
import org.springframework.scheduling.concurrent.ThreadPoolTaskExecutor;
import org.springframework.util.concurrent.ListenableFuture;
import org.springframework.util.concurrent.ListenableFutureCallback;
import java.util.Set;
/**
* In addition to all the abilities of ThreadPoolTaskExecutor adds the ability
* to execute a task only if it is not already running/queued using the
* executeIfNotQueuedOrRunningAlready method.
*
* @see ThreadPoolTaskExecutor
*/
public class UniquTaskExecutor extends ThreadPoolTaskExecutor implements TaskWithIdExecutor {
private Set<String> queuedTasks;
public UniquTaskExecutor() {
queuedTasks = Sets.newConcurrentHashSet();
}
@Override
public void execute(Runnable task) {
super.execute(task);
}
/**
* @param task The task to execute
*/
@Override
public void executeIfNotQueuedOrRunningAlready(RunnableWithId task) {
if (queuedTasks.add(task.getTaskId())) {
ListenableFuture<?> res = submitListenable(task);
res.addCallback(new ListenableFutureCallback<Object>() {
@Override
public void onFailure(Throwable throwable) {
queuedTasks.remove(task.getTaskId());
}
@Override
public void onSuccess(Object o) {
queuedTasks.remove(task.getTaskId());
}
});
}
}
}
使用UniquTaskExecutor的executeIfNotQueuedOrRunningAlready方法来实现任务执行的唯一性。
如果您被允许管理数据库,我建议使用数据库本身来防止重复工作:
然后在主线程中尝试这样的事情:
Random rand = new Random();
int lockId = rand.nextInt(Integer.MAX_VALUE - 1) + 1;
String update = "UPDATE DB.Table SET lockid=" + lockId + " WHERE lockid=0 AND status='new' " // + AND your conditions + LIMIT ##
String select = "SELECT * FROM DB.Table WHERE lockid=" + lockId;
// now execute those sql statements with QueryRunner or whatever you use in-house
从select返回的行是您添加到队列的行。
然后,您有一个实现Runnable的类,通过从队列中检索这些行来处理这些行。 处理完一行后,再执行一次SQL更新(在Runnable中)将lockId设置为零,并将状态设置为“done”。
即使您有多台机器,每台机器都有自己的队列,这样做也有效。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.