将Apache Spark添加到Eclipse Maven项目时出现问题

Question

我试图将Apache Spark MLlib添加为Eclipse中Maven项目的依赖项。 我有Maven插件，因此添加依赖项通常就像在地址中输入一样容易（甚至不必触摸pom.xml）。 当我尝试添加MLlib时，出现错误：

“无法读取所需库的归档文件（spark-core jar的位置），或者它不是有效的zip文件”

因此我也添加了该jar作为依赖项，但是错误继续发生，只是使用了不同的jar（接下来是hadoop，然后是snappy-java等），并且需要添加越来越多的依赖项。 最终，我似乎已经添加了所有必需的依赖项，但是错误只是循环回到hadoop上：

“无法读取所需库（hadoop jar的位置）的存档。...”

当我尝试删除并重新添加这些内容时，它只会继续遍历所有这些内容。 我对Maven还是很陌生，所以也许我缺少一些重要的东西，但是我很困惑。

Answer 1

您尚未共享pom.xml文件，似乎您不想对其进行编辑。 无论如何，请确保要使用MLlib，必须将以下依赖项添加到应用程序的pom.xml ：

    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-mllib_2.10</artifactId>
        <version>1.1.0</version>
    </dependency>