如何使用Java API访问远程HDFS集群的配置xml文件？

Question

我有一个namenode地址（ip地址和端口），但是我不知道本地文件系统上配置文件（即core-site.xml，hdfs-site.xml等）的位置。 我想访问配置详细信息。

我知道通过执行以下操作可以获得详细信息，

Configuration conf = new Configuration();
conf.addResource(file path of core-site.xml);
conf.addResource(file path of hdfs-site.xml);

它在我知道文件路径的本地计算机上工作。 但是我不知道远程计算机上文件的位置。

有什么方法可以访问配置？

Answer 1

如果真正的问题是如何在一个群集中运行代码并在另一个群集上访问HDFS，则无需像大多数教程所示的那样添加Resource core-site.xml和hdfs-site.xml。

    Configuration conf = new Configuration();
    //conf.addResource(new Path("/etc/hadoop/conf/core-site.xml"));
    //conf.addResource(new Path("/etc/hadoop/conf/hdfs-site.xml"));
    //FileSystem fs = FileSystem.get(conf);
    String fromFileName = "hdfs://my.source.cluster/a/b/c";
    String toFileName = "hdfs://my.dest.cluster/d/e/f";
    FileSystem fromFs = FileSystem.get(new URI(fromFileName),conf);
    FileSystem toFs = FileSystem.get(new URI(toFileName),conf);