使用S3DistCp从HDFS传输到S3时删除目录级别

Question

我有一个Pig脚本（使用稍微修改过的MultiStorage ）来转换一些数据。 脚本运行后，我在HDFS上有以下格式的数据：

/tmp/data/identifier1/indentifier1-0,0001  
/tmp/data/identifier1/indentifier1-0,0002  
/tmp/data/identifier2/indentifier2-0,0001  
/tmp/data/identifier3/indentifier3-0,0001

我正在尝试使用S3DistCp将这些文件复制到S3。 我使用--groupBy .*(identifier[0-9]).*选项根据标识符组合文件。 组合有效，但复制到S3时，文件夹也会被复制。 最终输出是：

/s3bucket/identifier1/identifier1
/s3bucket/identifier2/identifier2
/s3bucket/identifier3/identifier3

有没有办法在没有第一个文件夹的情况下复制这些文件？ 理想情况下，我在S3中的输出看起来像：

/s3bucket/identifier1
/s3bucket/identifier2
/s3bucket/identifier3

我考虑过的另一个解决方案是在复制到S3之前使用HDFS命令将这些文件从其目录中拉出。 这是合理的解决方案吗？

谢谢！

Answer 1

我遇到的解决方案是在使用distcp之前使用s3distcp将这些文件从目录中s3distcp ：

hadoop distcp -update /tmp/data/** /tmp/grouped

然后，我更改了s3distcp脚本，将数据从/tmp/grouped s3distcp移动到我的S3存储桶中。

Answer 2

使用distcp前s3distcp真的很贵。 另一个选择是创建一个包含所有文件的清单文件，并将其路径提供给s3distcp 。 在此清单中，您可以定义每个文件的“基本名称”。 如果您需要清单文件的示例，只需在带有参数--outputManifest任何文件夹上运行s3distcp 。 更多信息可以在这里找到