Scala外壳无法识别火花

Question

我正在尝试使用scala shell订阅kafka中的一个主题，以下是我为此执行的命令：

scala> val topic1 = spark.read.format（“ kafka”）。option（“ subscribe”，“ topic1”）。option（“ kafka.bootstrap.servers”，“ ip：port，ip2：port，ip3：port” ）。加载

每当我执行命令时，我都会出错，如下所示：

：25：错误：找不到：值spark还有其他方法可以通过scala shell订阅kafka中的主题。 我正在使用Spark-1.6.3 Scala-2.10.5版本。

Answer 1

Spark在标准scala库中不可用，但是您可以通过将jar文件添加到classpath fe中来加载外部库（例如spark）：

scala -cp SomeLib.jar

或与:require

scala> :require SomeLib.jar

然后，您将需要导入适当的软件包。 但是问题是为什么呢？ 如果您想以某种方式处理该消息，那么使用带有SBT之类构建工具的简单项目会容易得多。 如果您只想使用消息fe。 为了进行一些测试/预览，并且您不想为此创建自定义应用程序，那么卡夫卡中有一个kafka-console-consumer ： https : //kafka.apache.org/quickstart#quickstart_consume

Answer 2

您可以使用外观类似于Scala shell的spark-shell ，但具有所有必需的库并创建了spark上下文。 spark-shell包含在标准Spark安装中。

有关详细信息，请参见例如https://jaceklaskowski.gitbooks.io/mastering-apache-spark/spark-shell.html 。