[英]Eclipse Project with Scala Plugin, Maven and Spark
我有Eclipse Kepler,已經安裝了Maven和Scala插件。 我創建一個新的Maven項目並添加依賴項
groupId:org.apache.spark工件ID:spark-core_2.10版本:1.1.0
根據http://spark.apache.org/downloads.html上的最新文檔,一切都很好,Scala 2.10的jar也添加到了項目中。 然后,我將“ Scala Nature”添加到項目中,這添加了Scala 2.11,最終出現以下錯誤
在構建路徑中發現了多個Scala庫(C:/Eclipse/eclipse-jee-kepler-SR2-win32-x86_64/plugins/org.scala-lang.scala-library_2.11.2.v20140721-095018-73fb460c1c.jar C:/Users/fff/.m2/repository/org/scala-lang/scala-library/2.10.4/scala-library-2.10.4.jar)。 至少有一個不兼容的版本。 請更新項目的構建路徑,使其僅包含兼容的Scala庫。
是否可以同時使用Spark(來自Maven)和Scala IDE插件? 關於如何解決此問題的任何想法?
謝謝你的幫助。 問候
簡而言之,是的,有可能。
Spark當前正在使用Scala 2.10,而最新的Scala IDE已針對2.10和2.11“交叉發布”。 您需要選擇基於2.10的版本,即3.0.3。
但是,下一個主要版本4.0(處於候選發布模式)具有多版本支持。 您可以創建一個Scala項目,然后選擇要使用的Scala版本(2.10或2.11)。 如果您願意,可以嘗試一下。
如果有人在搜尋相同的東西時跌倒在這里:
我最近創建了Maven原型,用於使用Scala 2.10.4項目引導新的Spark 1.3.0。 請按照此處的說明進行操作: https : //github.com/spark-in-action/scala-archetype-sparkinaction
對於IntelliJ IDEA,首先從命令行生成項目,然后將其導入IDE。
您已經安裝了Scala Ide插件,但是僅當您在項目中包括scala類時,項目的Scala性質才有用。 但是,Spark和Scala可以一起工作。 確保使用兼容版本。 您可以在計算機上安裝scala ,然后使用兼容的spark maven依賴項。
是的,你可以..使用我在下面提供的pom
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>com.spark-scala</groupId>
<artifactId>spark-scala</artifactId>
<version>0.0.1-SNAPSHOT</version>
<name>${project.artifactId}</name>
<description>Spark in Scala</description>
<inceptionYear>2010</inceptionYear>
<properties>
<maven.compiler.source>1.8</maven.compiler.source>
<maven.compiler.target>1.8</maven.compiler.target>
<encoding>UTF-8</encoding>
<scala.tools.version>2.10</scala.tools.version>
<!-- Put the Scala version of the cluster -->
<scala.version>2.10.4</scala.version>
</properties>
<!-- repository to add org.apache.spark -->
<repositories>
<repository>
<id>cloudera-repo-releases</id>
<url>https://repository.cloudera.com/artifactory/repo/</url>
</repository>
</repositories>
<build>
<sourceDirectory>src/main/scala</sourceDirectory>
<testSourceDirectory>src/test/scala</testSourceDirectory>
<plugins>
<plugin>
<!-- see http://davidb.github.com/scala-maven-plugin -->
<groupId>net.alchim31.maven</groupId>
<artifactId>scala-maven-plugin</artifactId>
<version>3.2.1</version>
</plugin>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-surefire-plugin</artifactId>
<version>2.13</version>
<configuration>
<useFile>false</useFile>
<disableXmlReport>true</disableXmlReport>
<includes>
<include>**/*Test.*</include>
<include>**/*Suite.*</include>
</includes>
</configuration>
</plugin>
<!-- "package" command plugin -->
<plugin>
<artifactId>maven-assembly-plugin</artifactId>
<version>2.4.1</version>
<configuration>
<descriptorRefs>
<descriptorRef>jar-with-dependencies</descriptorRef>
</descriptorRefs>
</configuration>
<executions>
<execution>
<id>make-assembly</id>
<phase>package</phase>
<goals>
<goal>single</goal>
</goals>
</execution>
</executions>
</plugin>
<plugin>
<groupId>org.scala-tools</groupId>
<artifactId>maven-scala-plugin</artifactId>
</plugin>
</plugins>
</build>
<dependencies>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.11</artifactId>
<version>1.2.1</version>
</dependency>
</dependencies>
</project>
有兩種類型的Spark JAR文件(僅通過查看名稱即可):
名稱中包括單詞“ assembly”而不是“ core”(內部包含Scala)
名稱包括單詞“ core”而不是“ assembly”(內部沒有Scala)。
您應該通過“添加外部Jar”(您需要的版本)在構建路徑中包括“核心”類型,因為Scala IDE已經為您提供了一個Scala。
另外,您也可以利用SBT並添加以下依賴項(同樣,請注意所需的版本):
libraryDependencies + =“ org.apache.spark”%“ spark-core_2.11”%“ 2.1.0”
然后,您不應在構建路徑中“強行”包含任何Spark JAR。
快樂的火花:
扎爾
>
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.