如何使用Scala 2.11将Kafka作为Apache Spark的流运行？

Question

我找不到任何适用于Scala 2.11的Kafka的Spark Streaming集成的任何版本。 http://mvnrepository.com/artifact/org.apache.spark/spark-streaming-kafka_2.10上有一个可用，但适用于2.10。

谁能指出我的2.11版本？

Answer 1

针对您的问题：

目前针对Scala 2.11运行Spark Kafka是不可行的（ Spark-1.3 ）

从源代码构建的一般方法：

如果没有可用的预构建版本，则可以通过指定一些构建参数来构建自己并满足您的需求。

可以找到详细的构建过程： 构建Spark

简而言之，如果针对scala-2.10进行构建，则只需采取两个步骤：

export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"

mvn -Phadoop-2.4 -Dhadoop.version=2.4.0 -DskipTests clean package

您应该在第二个命令中指定适合您情况的配置文件或属性

注意在Build Building for Scala 2.11上的Building Spark状态部分：

要生成使用Scala 2.11编译的Spark软件包，请使用-Dscala-2.11属性：

dev/change-version-to-2.11.sh
mvn -Pyarn -Phadoop-2.4 -Dscala-2.11 -DskipTests clean package

由于依赖项本身还不支持Scala 2.11，因此Spark中对Scala 2.11的支持不支持某些功能。 具体来说，Scala 2.11构建中尚不支持Spark的外部Kafka库和JDBC组件。