解決org.apache.hadoop.conf.Configuration時出錯

Question

我想將文件寫入遠程服務器上的hdfs，並遇到一些像this和this這樣的示例。 我的遠程服務器上有Cdh4.2.1 ，當我嘗試從代碼中import org.apache.hadoop.conf.Configuration; ，出現以下錯誤：

Cannot resolve Configuration

我的pom.xml看起來像：

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-core</artifactId>
            <version>1.2.1</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.4.1</version>
        </dependency>

在這篇 SO帖子中，pom.xml看起來有所不同，當我嘗試將這些versions放入pom時，maven無法識別它。

我該如何解決這個問題？

Answer 1

嘗試僅使用hadoop-client依賴項，並在使用CDH時使用cloudera特定版本，如下所示：

<dependency>
  <groupId>org.apache.hadoop</groupId>
  <artifactId>hadoop-client</artifactId>
  <version>2.0.0-cdh4.2.1</version>
</dependency>

還要確保您具有以下存儲庫來解決jar依賴項：

<repository>
  <id>maven-hadoop</id>
  <name>Hadoop Releases</name>
  <url>https://repository.cloudera.com/content/repositories/releases/</url>
</repository>
<repository>
  <id>cloudera-repos</id>
  <name>Cloudera Repos</name>
  <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
</repository>