Java多线程问题-使用者/生产者模式

Question

试图解决此问题，但事实证明这很困难。

我有两个线程，一个是生产者，另一个是消费者。 全部在单独的类中。 这两个线程独立运行。 生产者将大约8-12个文件夹用于输入。 然后，它会同时转换所有文件，并放置在一个名为“ readyToLoad”的共享文件夹中。 生产者线程完成后，消费者线程现在进入“ readyToLoad”文件夹并开始处理翻译后的文档。

现在，当使用者处理翻译的文档时，不允许生产者将更多的翻译文件放入“ readyToLoad”文件夹。

我的问题是，如何防止使用者锁定“ readyToLoad”文件夹？ 我该如何处理这种情况？

对冗长的文字表示歉意，但我认为这将有助于您了解问题所在。 感谢您的帮助。

UPDATE：添加了使用者代码（在加载过程中执行加载并锁定文件的代码）

public class LoadManager {
protected static final Logger logger = KCLogger.getLogger();
 ArrayList<Loader> threads = new ArrayList<Loader>();
 KCBLConfig config;
 private static final ExecutorService service = Executors.newFixedThreadPool(10);
 public LoadManager(KCBLConfig config) {
    this.config = config;
 }

public void start() throws Exception {
    logger.log(Level.INFO, "Starting loading threads.");
    try {
        TreeMap<String, ConnectionHandler> connectionHandlers = config.getConnectionHandlers();
        Iterator i = connectionHandlers.keySet().iterator();
        while (i.hasNext()) {

            ConnectionHandler connectionHandler = connectionHandlers.get((String) i.next());

            for (LoadFolder loadFolder : connectionHandler.getKcXMLFolders()) {
               Loader loader = new Loader(loadFolder.getId(), loadFolder, config.getConnectionHandlers());
               Thread loaderThread = new Thread(loader);
                loaderThread.start();   
               //service.submit(loader);
              // service.shutdown();
               //service.awaitTermination(1, TimeUnit.MILLISECONDS);
                threads.add(loader);
            }
        }
    } catch (Exception e) {
        logger.log(Level.SEVERE, "There was an error starting the loaders. Stopping all loader threads.", e);
        this.stop();
        throw e;
    }
    logger.log(Level.INFO, "All loader threads created. There are " + threads.size() + " loader threads");
}

Answer 1

Java生产者/消费者习惯用法通常现在使用BlockingDeque完成。

我将为生产者和消费者提供单独的文件夹。 为什么要承担这种复杂性？

Answer 2

您只能通过synchronized方法在Java http://en.wikipedia.org/wiki/Monitor_（ synchronized ）中使用Monitor 。

Answer 3

如果我理解正确，那么您在生产者和消费者之间没有任何通知机制。 生产者将文件存储在一个文件夹中，而消费者则有一个无限循环，该循环从该文件夹中读取所有文件并将它们移到其他位置。

那就是问题所在。 这是我要解决的方法。

生产者和消费者都应共享一个BlockingQueue实例。 生产者每次完成文件的生成（文件已​​完全写入共享文件夹）时，都会将文件名添加到阻止队列中。

使用者从队列中获取文件名。 这是一项阻止操作，因此将使用者隔离到文件名可用之前。 当使用者从队列中获得文件名时，它将读取该文件（并且仅此文件），并对其进行任何操作。

这有几个优点：

• 没有生产者和消费者同时访问一个文件的风险
• 您可以拥有任意数量的生产者和消费者
• 消费者不会无休止地扫描目录
• 您可以为队列设置一个边界，以避免产生过多的文件，并让消费者有机会跟上生产者的步伐。