Spring Integration Java DSL中的Nio Locker用法用於文件輪詢

Question

我正在嘗試實現spring集成文件輪詢，其中多個服務器獨立地從一個公共目錄讀取並處理該文件。 處理文件后，每個文件都將其重命名為.DONE，以便其他人不選擇它。 在觀察到兩個文件都被選中后，我使用了nioLocker，如下例所示。 但是看起來這是行不通的。 讓我知道使nioLocker在多服務器環境中可靠的必要步驟。 由於其他原因，請不要使用單獨的調解器（例如zookeepr / mongo等）。

謝謝。

 @Bean
    public TransactionSynchronizationFactory transactionSynchronizationFactory() {
        ExpressionParser parser = new SpelExpressionParser();
        ExpressionEvaluatingTransactionSynchronizationProcessor syncProcessor =
                new ExpressionEvaluatingTransactionSynchronizationProcessor();
        syncProcessor.setAfterCommitExpression(parser.parseExpression("payload.renameTo(new java.io.File(payload.path+'.DONE'))"));
        syncProcessor.setAfterRollbackExpression(parser.parseExpression("payload.renameTo(new java.io.File(payload.path+'.DONE'))"));
        return new DefaultTransactionSynchronizationFactory(syncProcessor);
    }

@Bean
public IntegrationFlow receiveInputFile(@Value("/opt/tomcat/in/test") File in,
                                            @Value(".txt") String pattern,
                                            @Value("${edi.poll.delay.all.edi}") int delay,
                                            @Value("${edi.messages.per.poll.new.order}") int messagesPerPoll) {

    //Logging required config for debugging
    LOGGER.debug("EDI File pattern :"+pattern);
    LOGGER.debug("EDI Delay Seconds :"+delay);
    LOGGER.debug("EDI Messages Per Poll :"+messagesPerPoll);


    return IntegrationFlows
            .from(s -> s.file(in).patternFilter(ServicesConstant.PATTERN_PREFIX + pattern).scanEachPoll(true).nioLocker(),
                    e -> e.poller(Pollers.fixedDelay(delay).maxMessagesPerPoll(messagesPerPoll)
                            .transactionSynchronizationFactory(transactionSynchronizationFactory())
                            .transactional(new PseudoTransactionManager())))
            .handle(m -> {
                LOGGER.info("Received test file " + m);
                LOGGER.info("File path: " +m.getPayload());
                LOGGER.info(""+ m.getHeaders().toString());
            })
            .get();
}

Answer 1

查看其JavaDocs：

/**
 * File locking strategy that uses java.nio. The locks taken by FileChannel are shared with all the threads in a single
 * JVM, so this locking strategy <b>does not</b> prevent files being picked up multiple times within the same JVM.
 * {@link FileReadingMessageSource}s sharing a Locker will not pick up the same files.
 * <p>
 * This implementation will acquire or create a {@link FileLock} for the given file. Caching locks might be expensive,
 * so this locking strategy is not recommended for scenarios where many files are accessed in parallel.
 *
 * @author Iwein Fuld
 * @author Mark Fisher
 * @since 2.0
 */
public class NioFileLocker extends AbstractFileLockerFilter {

在我的實踐中，我們確實只在Windows上擁有良好的排他文件鎖定。

如果我們僅處理單個本地文件系統，那么我不確定“多服務器環境”對您意味着什么。 我非常確定，此NIO鎖定對共享的網絡目錄無效。

如果您不能使用任何共享的持久性存儲來進行文件過濾，建議您使用真正的共享MetadataStore實現來研究FileSystemPersistentAcceptOnceFileListFilter ，以使所有服務器與其進行協商以確保未處理文件卻被其他服務器使用。