S3DistCp按文件夹分组

Question

我正在尝试使用S3DistCp来解决Hadoop中的小文件问题。 它工作正常，但输出有点烦人。 我正在处理的文件路径如下：

s3://test-bucket/test/0000eb6e-4460-4b99-b93a-469d20543bf3/201402.csv

并且该文件夹中可以有多个文件。 我想按文件夹名称分组，所以我在s3distcp中使用以下group by参数：

--groupBy '.*(........-.........-....-............).*'

它会对文件进行分组，但结果仍会导致多个输出文件夹，每个文件夹中都有一个文件。 有没有办法将分组文件输出到一个文件夹而不是多个？

谢谢！

Answer 1

截至2015-11-20，这是S3DistCp的行为。 它将根据源目录创建多个目录。 它不会跨目录组合。

Answer 2

我想你可以试试这个： - --groupBy ".*/(........-.........-....-............)/.*"

在你的例子中，你应该使用类似的东西： - --src "s3://test-bucket/test/"

这样，您将拥有多个文件夹，这些文件夹中的所有文件都合并在一起。