将文件从S3增量复制到本地hdfs

Question

我有一个应用程序每天或每小时或仅将数据随机写入S3，另一个应用程序可将数据从S3读取到本地HBase。 有什么办法可以告诉最近更新的最后一个文件是什么，然后读取文件，换句话说，以增量方式复制文件？

例如：第1天：App1将文件1,2,3写入文件夹1； App2将这3个文件读取到HBase； 第4天：App1将文件4和5写入文件夹1、6、7、8到文件夹2； App2需要从文件夹1读取4＆5，然后从文件夹2读取6,7,8。

谢谢

Answer 1

LastModified标头字段可用于根据创建日期处理数据。 这需要在客户端上内置一个逻辑，该逻辑存储已处理的项目和新项目。 您可以简单地存储您处理的日期，因此所有之后的日期都被视为新日期。

例：

s3cmd ls s3://test
2012-07-24 18:29  36303234   s3://test/dl.pdf

请参阅文件前面的日期。