运行 maven jar 文件时出错

Question

我从 Eclipse 创建了 Maven jar 文件。 运行jar时出现以下错误。

错误：

 A JNI error has occurred, please check your installation and try again

    Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataOutputStream
    at java.lang.Class.getDeclaredMethods0(Native Method)
    at java.lang.Class.privateGetDeclaredMethods(Unknown Source) 
    at java.lang.Class.privateGetMethodRecursive(Unknown Source)

请指导是否需要在pom.xml中添加依赖

pom.xml

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>
  <groupId>utd.bigdata</groupId>
  <artifactId>hadoop1</artifactId>
  <version>0.0.1-SNAPSHOT</version>
  <name>hw1</name>
  <dependencies>
  <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-client</artifactId>
        <version>2.4.1</version>
  </dependency>
   <dependency>
     <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-common</artifactId>
      <version>2.7.3</version>
        <scope>compile</scope>
       </dependency>
  <!--  <dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-auth</artifactId>
    <version>2.4.1</version>
</dependency>-->
  </dependencies>
  <build>
    <plugins>
        <plugin>
            <!-- Build an executable JAR -->
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-jar-plugin</artifactId>
            <version>2.4</version>
            <configuration>
                <archive>
                    <manifest>
                        <mainClass>bigdata.UploadHadoop</mainClass>
                        <classpathPrefix>classes/lib</classpathPrefix>
                    </manifest>
                </archive>
            </configuration>
        </plugin>
    </plugins>
</build>
</project>

pom.xml 中是否也有任何错误？请建议任何代码更改

Answer 1

常规 .jar 存档在运行时不包含其依赖项，为此您可以使用 maven-assembly-plugin 创建一个胖可执行 Jar：

https://maven.apache.org/plugins/maven-assembly-plugin/usage.html

<!-- Create a fat Jar -->
<plugin>
  <artifactId>maven-assembly-plugin</artifactId>
  <executions>
    <execution>
      <phase>package</phase>
      <goals>
        <goal>single</goal>
      </goals>
    </execution>
  </executions>
  <configuration>
    <archive>
      <manifest>
        <mainClass>bigdata.UploadHadoop</mainClass>
      </manifest>
    </archive>
    <descriptorRefs>
      <descriptorRef>jar-with-dependencies</descriptorRef>
    </descriptorRefs>
  </configuration>
</plugin>

Answer 2

作为“fat jar”的替代方案，hadoop jar runner 还支持“jar of jars”格式。 值得注意的是，它不是 jar 的标准，但由于它在 hadoop 中受支持，这里是： 如何使用 Maven 将所有必需的 JAR 文件放在最终 JAR 文件中的库文件夹中？

这种格式是一个普通的 jar，但是有一个包含所有依赖 jar 的 lib/ 文件夹。

Answer 3

如果您使用 maven-jar-plugin 构建可执行 jar，请阅读文档。 http://maven.apache.org/shared/maven-archiver/examples/classpath.html#Make

首先在pom.xml中添加maven-jar-plugin

<build>
    <plugins>
      <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-jar-plugin</artifactId>
        ...
        <configuration>
          <archive>
            <manifest>
              <addClasspath>true</addClasspath>
              <mainClass>bigdata.UploadHadoop</mainClass>
              <classpathPrefix>classes/lib</classpathPrefix>
            </manifest>
          </archive>
        </configuration>
        ...
      </plugin>
    </plugins>
  </build>

其次，它不会将依赖 jar 附加到项目 jar。 所以你必须确保依赖 jars(hadoop-client, hadoop-common) 自己在 classes/lib 中。

最后，我建议你使用 maven-shade-plugin 构建一个可执行的 jar(fat jar) http://maven.apache.org/plugins/maven-shade-plugin/examples/executable-jar.html它将附加依赖项 jar 自行生成结果阴影 jar。 您还可以使用 maven-assembly-plugin 来构建可执行 jar，但不推荐使用。

<build>
    <plugins>
      <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-shade-plugin</artifactId>
        <version>3.0.0</version>
        <executions>
          <execution>
            <phase>package</phase>
            <goals>
              <goal>shade</goal>
            </goals>
            <configuration>
              <transformers>
                <transformer implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
                  <mainClass>bigdata.UploadHadoop</mainClass>
                </transformer>
              </transformers>
            </configuration>
          </execution>
        </executions>
      </plugin>
    </plugins>
  </build>