Scala-Spark Streaming和Twitter

Question

我一直在尝试在Scala中构建一个程序以使用流推文。 我的问题是在构建程序时。

我收到此错误

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/streaming/twitter/TwitterUtils$

我相信sbt文件中有问题。 我尝试了不同的配置，但没有一个起作用。 谁能指出我正确的方向？

我知道此线程存在类似的问题： java.lang.NoClassDefFoundError：运行TwitterPopularTags时出现org / apache / spark / streaming / twitter / TwitterUtils $

这是我当前的sbt文件

name := "Tweets"

version := "1.0"

scalaVersion := "2.10.4"

libraryDependencies += "org.apache.spark" %% "spark-core" % "1.4.0"

libraryDependencies += "org.apache.spark" % "spark-streaming_2.10" % "1.4.0"

libraryDependencies += "org.apache.spark" % "spark-streaming-twitter_2.10" % "1.4.0"

谢谢

Answer 1

我测试了这个示例，并遇到了类似的问题，该解决方案是在项目路径中创建一个文件夹“ lib”，并将所有所需的jar手动放入此文件夹中，希望该解决方案对您有用