Hadoop：如何使用Java应用程序写入HDFS

Question

我是Hadoop的新手，正在尝试学习。 我正在尝试在Ubuntu Linux上的Eclipse中运行以下Hadoop示例代码。 我具有Hadoop v 2.7.0，并且具有必需的jar。

    Configuration conf = new Configuration();
    conf.addResource(new Path("/usr/local/hadoop/conf/core-site.xml")); 
    Path pt=new Path("hdfs://localhost:9000/myhome/a.txt");
    FileSystem fs = FileSystem.get(conf);

当我在Eclipse中运行应用程序时， Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/util/PlatformName得到Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/util/PlatformName 。 我正在引用的hadoop-common-2.7.0.jar文件不包含应用程序正在寻找的类。 我引用的是jar文件Hadoop / common文件夹。

解决该问题的任何帮助将不胜感激。

如果我为上述代码创建了该类的jar文件，并使用hadoop -jar <jar file> <class name>对其进行了运行，那么它将起作用。 因此，我想知道是否可以在不使用hadoop命令的情况下从Eclipse或命令行运行Hadoop Java应用程序。

Answer 1

看来JVM不会加载所有必需的Hadoop工件。

如果您是maven用户，请确保您具有这些依赖项。

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-client</artifactId>
    <version>${hadoop.client.version}</version>
</dependency>
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-common</artifactId>
    <version>${hadoop.client.version}</version>
</dependency>