hadoop-Hadoop jar輸入路徑問題

Question

我遇到的問題是hadoop jar命令需要輸入路徑，但是我的MapReduce作業從數據庫獲取輸入，因此不需要/沒有輸入目錄。 我已經將JobConf輸入格式設置為DBInputFormat，但是在破壞我的工作時如何表示呢？

//Here is the command
hadoop jar <my-jar> <hdfs input> <hdfs output>

我有一個輸出文件夾，但不需要輸入文件夾。 有辦法避免這種情況嗎？ 我是否需要編寫另一個程序來將數據庫數據提取到一個文件夾中，然后在MapReduce作業中使用它？

Answer 1

hadoop jar命令除了主類外，不需要命令行參數。 映射/歸約作業的命令行參數將由程序本身決定。 因此，如果它不再需要HDFS輸入路徑，那么您將需要更改代碼以不需要它。

public class MyJob extends Configured implements Tool
{
   public void run(String[] args) throws Exception {
     // ...
     TextInputFormat.setInputPaths(job, new Path(args[0])); // or some other file input format
     TextOutputFormat.setOutputPath(job, new Path(args[1]));
   }
}

因此，您將刪除輸入路徑語句。 JAR'ing工作沒有什么神奇之處，只需更改InputFormat（您說過的話），然后進行設置即可。