Java项目如何连接到本地Hadoop实例

Question

我对hadoop很陌生，正在尝试创建一个使用hadoop的Java项目。

我有hadoop在单节点集群中运行，并且我有一个Java项目，在其中将hadoop作为外部jar导入了构建路径。

以下内容是否有意义：我应如何将Java项目连接到hadoop的本地实例？

谢谢

Answer 1

那应该工作。 您无需执行太多操作即可连接到本地Hadoop设置。 只需创建一个Configuration对象，并使用Configuration.addResource（）告诉您的代码在哪里可以找到您的配置文件。 一个小例子：

public class CopyToHdfs {

    public static void main(String[] args) throws IOException {

        Configuration conf = new Configuration();
        conf.addResource(new Path("/Users/miqbal1/hadoop-eco/hadoop-1.1.2/conf/core-site.xml"));
        conf.addResource(new Path("/Users/miqbal1/hadoop-eco/hadoop-1.1.2/conf/hdfs-site.xml"));
        FileSystem fs = FileSystem.get(conf);
        fs.copyFromLocalFile(new Path("file:///Users/miqbal1/input.txt"), new Path("/"));

    }
}

Answer 2

我认为您需要的是hadoop eclipse插件。 我认为它不适用于所有hadoop版本，但我可以在hadoop 1.2.0版本中运行它。 看一下本教程 。