关于与多个实例/应用程序一起运行的 FtpInboundFileSynchronizer 的问题

Question

我最近一直在尝试配置和设置 spring 引导应用程序，该应用程序稍后将在 kubernetes 中运行并运行多个 pod。 该应用程序旨在从 FTP 服务器下载文件。 我在 Springboot 中找到了一些用于执行此操作的现有代码，特别是FtpInboundFileSynchronizer ，因此我尝试对其进行设置并确保其正常工作。 我有一个使用ConcurrentMetaDataStore的工作解决方案。 所以我唯一真正的问题是它是否可以在多个实例上运行它，或者我是否需要额外的东西才能让它在多个 pod 上运行？

我的配置看起来像这样：

@Getter
@Setter
@Configuration
@ConfigurationProperties(prefix = "ftp")
public class FtpConfiguration
{
private final static int PASSIVE_LOCAL_DATA_CONNECTION_MODE = 2;
private final static int DEFAULT_FTP_PORT = 21;
String host;
String username;
String password;
String localDirectory;
String remoteDirectory;
FtpRemoteFileTemplate template;
FtpInboundFileSynchronizer synchronizer;
DataSource templateSource;

@Bean
public ConcurrentMetadataStore metadataStore(DataSource dataSource)
{
    var jbdcMetaDatastore = new JdbcMetadataStore(dataSource);
    jbdcMetaDatastore.setTablePrefix("INT_");
    jbdcMetaDatastore.setRegion("TEMPORARY");
    jbdcMetaDatastore.afterPropertiesSet();
    return jbdcMetaDatastore;
}

@Bean
public DefaultFtpSessionFactory defaultFtpSessionFactory()
{
    DefaultFtpSessionFactory sf = new DefaultFtpSessionFactory();
    sf.setHost(host);
    sf.setUsername(username);
    sf.setPassword(password);
    sf.setPort(DEFAULT_FTP_PORT);
    sf.setConnectTimeout(5000);
    sf.setClientMode(PASSIVE_LOCAL_DATA_CONNECTION_MODE);
    return sf;
}

@Bean
FtpRemoteFileTemplate ftpRemoteFileTemplate(DefaultFtpSessionFactory dsf)
{
    return new FtpRemoteFileTemplate(dsf);
}

@Bean
FtpInboundFileSynchronizer ftpInboundFileSynchronizer(DefaultFtpSessionFactory dsf)
{
    FtpInboundFileSynchronizer ftpInSync = new FtpInboundFileSynchronizer(dsf);
    ftpInSync.setRemoteDirectory(remoteDirectory);
    ftpInSync.setFilter(ftpFileListFilter());
    return ftpInSync;
}

public FileListFilter<FTPFile> ftpFileListFilter()
{
    try (ChainFileListFilter<FTPFile> chain = new ChainFileListFilter<>())
    {
        chain.addFilter(new FtpPersistentAcceptOnceFileListFilter(metadataStore(templateSource), "TEST"));
        return chain;
    }
    catch (IOException e)
    {
        throw new RuntimeException("Failed to create FtpPersistentAcceptOnceFileListFilter", e);
    }
}

}

然后我只调用SynchronizeToLocalDirectory方法。

        FtpClient(
        FtpRemoteFileTemplate template, FtpInboundFileSynchronizer synchronizer,
        @Value("${ftp.remote-directory}") String remoteDirectory,
        @Value("${ftp.local-directory}") String localDirectory)
{
    this.template = template;
    this.synchronizer = synchronizer;
    this.remoteDirectory = remoteDirectory;
    this.localDirectory = localDirectory;
}


        synchronizer.setRemoteDirectory(remoteDirectory);
        synchronizer.synchronizeToLocalDirectory(new File(localDirectory));

该解决方案是否可以毫无问题地处理多个应用程序？ 或者我还需要什么？ 单独的ConcurrentMetaData存储是否可以确保这有效？ （例如，如果两个实例同时尝试同步同一个目录，则不会发生冲突/崩溃，因为元存储是@Transactional ，它们都很好）。

Answer 1

您的假设是正确的：只要您的所有 pod 都连接到同一个数据库， JdbcMetadataStore将确保不会发生对同一个文件的并发读取。

不过，尚不清楚为什么要手动使用FtpInboundFileSynchronizer ，而不是通过FtpInboundFileSynchronizingMessageSource和后续集成流程，但我猜这是完全不同的故事和问题。

另一方面：你为什么要问这个问题？ 你没有尝试你的解决方案吗？ 文档还不足以确定 go: https://docs.spring.io/spring-integration/#mote-html/spring-integration/#mote-html