使用Nifi将文件从SFTP服务器复制到HDFS

Question

我正在尝试从SFTP服务器加载包含225 GB（文件数量〜1,75,000）的巨大数据，并将数据复制到HDFS。

为了实现上述方案，我们使用了2个处理器。

1. GetSFTP（从SFTP服务器获取文件）

配置处理器->递归搜索= true; 使用自然排序= true; 远程投票批次大小= 5000; 并发任务= 3

2.PutHDFS（将数据推送到HDFS）

配置的处理器->并发任务= 3; 冲突解决策略=替换; Hadoop配置资源； 目录

但是一段时间之后，数据复制停止了，并且其大小在HDFS中没有更新。 当我在GetSFTP中将Remote Poll Batch Size设置为5000->推送到HDFS的总数据为6.4 GB时，设置为20000->推送到HDFS的总数据为25 GB

但是我似乎无法弄清楚我在做什么错。

Answer 1

确保已scheduled GetSFTP processor要基于Timer Drivern（或Cron Driven）运行的scheduled GetSFTP processor 。

理想的解决方案是使用ListSFTP + FetchSFTP处理器而不是GetSFTP处理器。

请参考此链接以配置/使用List + Fetch sftp处理器。