Amazon EMR：S3中发现“无输出”

Question

在Amazon EMR中运行作业时，S3中没有任何输出。

我指定了参数：

-inputfile s3n://exdsyslab/data/file.txt -outputdir s3n://exdsyslab/output

当我检查作业日志时，我看到该作业已成功完成。 但是我的存储桶exdsyslab的输出文件夹中没有输出。

我还尝试了另一件事。

我链接了两个作业：创建作业流程时指定了args：

-inputfile s3n://exdsyslab/data/file.txt -outputdir s3n://exdsyslab/result -outputdir1 s3n://exdsyslab/result1

第二个作业的输入是第一个作业的输出。

在程序运行时，第二项工作遇到以下例外情况：

The output folder, "result", already exists.

发生这种情况是因为目录是由链中的第一个作业创建的。 如何为mapreduce链中的第二个作业指定输入和输出？

为什么在参数中指定的s3存储桶中有输出？

Answer 1

为了获得正确的输出，请使用以下命令：

-inputfile s3n://exdsyslab/data/file.txt -output s3n://exdsyslab/output

注意，输出目录由“ -output”指定。

对于链接作业：您无法按照指定的方式进行操作，必须为现有作业创建多个步骤才能执行。 这个其他答案可能会帮助您： https : //stackoverflow.com/a/11109592/1203129

对于您的特定情况，输入/输出目录必须如下所示：

第1步：

 -inputfile s3n://exdsyslab/data/file.txt -output s3n://exdsyslab/result 

第2步：

 -input s3n://exdsyslab/result -output s3n://exdsyslab/result1