我有一个Java项目,它是一个基于maven构建的Web服务。 我想将基于maven构建的spark应用程序包含在现有的Java项目中。 但是我应该为java和scala项目分别获得两个不同的版本。 可能吗? 我应该在POM.xml中进行任何更改吗?

  ask by Chaitanya Vemulakonda translate from so

本文未有回复,本站智能推荐:

1回复

如何在IntelliJIDE中将Spark与Scala项目集成?

我正在使用IntelliJ IDE来玩Scala和Spark。 在这个IDE中,我创建了一个带有Scala对象的Scala项目(参见图片)。 我使用了该网站的示例回归代码。 我也下载星火Framework作为从GitHub非Maven的用户(如解释在这里 )。 我的问题是如何将
1回复

在IntelliJIDE中将Spark与Scala项目集成时出错

我在IntelliJ IDE中创建了一个简单的SBT项目,在build.sbt具有以下库依赖build.sbt : 我们的目标是进口火花Spark和MLLIB,然后根据解释,以创建一个斯卡拉对象这里 。 但是,导入时发生以下错误: org.scala-lang:scala-com
1回复

具有Java源的Spark-CassandraMaven项目进行scala-lib调用

我对Spark和Cassandra都是新手,需要一些指导。 我正在设置一个使用Spark v1.3.1和Cassandra v2.0.14的Maven项目。 我正在尝试以下操作: 1)使用以下方法与Oracle DB建立连接以进行数据输入; 利用Spark 1.3.0的新DataFra
1回复

如何在项目外的Spark(Scala)中打包JAR?

我一直在尝试设置Spark(Scala)和Jupyter笔记本。 设置很容易,除非您要添加数据库驱动程序之类的东西,在我的情况下尤其如此,这是一个复杂的JAR相互依赖的网络,我花了整整一天的时间来弄清楚。 我还安装了spark localy(Ubuntu 18.04),并遇到了相同的问题,
4回复

Scala中的Spark代码可以转换为Java吗?

我有使用Apache Spark的源。 源代码是用Scala编写的,我想将其转换为Java。 是否可以从所有Scala源码转换为Java?
1回复

Spark-从Java执行Scala脚本并获取结果

我的应用程序要求使用Spark计算一系列值,而我正在尝试使其由元数据驱动。 我有一个类似于上面的json,它将与“ app.jar”一起提交给Spark。 在spark作业的main()中,我希望加载此json并在spark中执行“逻辑”脚本,并获取键的值。 我认为SparkContex
1回复

Spark-将Scala转换为Java

使用apache-spark处理数据。 给定这样的scala代码: 基本上,它隐蔽一个RDD “RDD1集”到另一个RDD “RDD2”,但其存储“RDD1集”作为键-值对的形式。 请注意,源数据来自cassandra并且keys1是复合键的一部分,而value是值。 然后如何将
1回复

Spark中的Scala/Java不兼容布尔类型

从https://jaceklaskowski.gitbooks.io/mastering-apache-spark/spark-sql-joins.html#joinWith尝试此示例时 我收到此错误 帮助我。 提前致谢。