Oozie中的MapReduce作業可以從文件中讀取嗎？

Question

在Oozie中創建工作流程時，我首先執行了Java步驟，該步驟將生成一個文件，其中包含下一步所需的文件列表（map-reduce）。 我如何用該文件來提供地圖縮減工作？

我知道我可以在java步驟的Capture輸出框中打鈎，然后在map-reduce步驟中使用mapred.input.dir將該捕獲的輸出用作輸入。 但是我想讓自己脫離這一點。

僅作記錄，我文件的內容如下：

/data/kafka/4/camus/DATA.TRADE.ORDERHISTORY/daily/2015/07/18,/data/kafka/4/camus/DATA.TRADE.ORDERHISTORY/daily/2015/07/19,/data/kafka /4/camus/DATA.TRADE.ORDERHISTORY/daily/2015/07/20,/data/kafka/4/camus/DATA.TRADE.ORDERHISTORY/daily/2015/07/21,/data/kafka/4/camus /DATA.TRADE.ORDERHISTORY/daily/2015/07/22,/data/kafka/4/camus/DATA.TRADE.ORDERHISTORY/daily/2015/07/23,/data/kafka/4/camus/DATA.TRADE .ORDERHISTORY /每日/ 2015/07/24，/數據/卡夫卡/ 4 /加繆/ DATA.TRADE.ORDERHISTORY /每日/ 2015/07/25，/數據/卡夫卡/ 4 /加繆/ DATA.TRADE.ORDERHISTORY每日/ /2015/07/26,/data/kafka/4/camus/DATA.TRADE.ORDERHISTORY/daily/2015/07/27,/data/kafka/4/camus/DATA.TRADE.ORDERHISTORY/daily/2015/07 / 28

Answer 1

您要將該文件用作輸入文件還是參數文件 ？

在第二種情況下

• 為初始操作激活<capture-output />選項
• 輸出類似“ param.file = / a / b / c / z.txt”的內容

• 在下一個操作中，使用適當的EL函數來檢索文件名，並將其作為<property>或<env>傳遞

  $ {WF：actionData（ “InitialActionName”）[ “param.file”]}

• 然后使用幾行Java來打開該HDFS文件，並在執行實際的Map或Reduce工作之前執行對內容的任何處理