Amazon EMR：S3中發現“無輸出”

Question

在Amazon EMR中運行作業時，S3中沒有任何輸出。

我指定了參數：

-inputfile s3n://exdsyslab/data/file.txt -outputdir s3n://exdsyslab/output

當我檢查作業日志時，我看到該作業已成功完成。 但是我的存儲桶exdsyslab的輸出文件夾中沒有輸出。

我還嘗試了另一件事。

我鏈接了兩個作業：創建作業流程時指定了args：

-inputfile s3n://exdsyslab/data/file.txt -outputdir s3n://exdsyslab/result -outputdir1 s3n://exdsyslab/result1

第二個作業的輸入是第一個作業的輸出。

在程序運行時，第二項工作遇到以下例外情況：

The output folder, "result", already exists.

發生這種情況是因為目錄是由鏈中的第一個作業創建的。 如何為mapreduce鏈中的第二個作業指定輸入和輸出？

為什么在參數中指定的s3存儲桶中有輸出？

Answer 1

為了獲得正確的輸出，請使用以下命令：

-inputfile s3n://exdsyslab/data/file.txt -output s3n://exdsyslab/output

注意，輸出目錄由“ -output”指定。

對於鏈接作業：您無法按照指定的方式進行操作，必須為現有作業創建多個步驟才能執行。 這個其他答案可能會幫助您： https : //stackoverflow.com/a/11109592/1203129

對於您的特定情況，輸入/輸出目錄必須如下所示：

第1步：

 -inputfile s3n://exdsyslab/data/file.txt -output s3n://exdsyslab/result 

第2步：

 -input s3n://exdsyslab/result -output s3n://exdsyslab/result1