如何管理水槽代理之间的并发。

Question

我正在从事大数据项目。 我们正在使用水槽将文件从sftp下载到HDFS。 然后，我们配置了3个代理。 他们从同一来源阅读。 结果，我们将3个重复的文件放入HDFS中，这是不好的。 而我们必须只有一个文件。 但是，我们需要保持已处理文件的可追溯性，并管理代理之间的并发性。 例如，我们有3个主代理A1，A2和A3。 代理A2是否正在处理或正在处理文件xxx.csv。 其他人将不处理它，并将查找未处理的文件。 因此，每个文件只能由一个代理处理。

是否有人在处理类似问题？

Answer 1

负载平衡接收器处理器可以有一个源和三个接收器 。