Scala代码连接到Spark和Cassandra

Question

我的笔记本电脑上运行了scala（IntelliJ）。 我也有Spark和Cassandra在机器A，B，C上运行（使用DataStax的3节点集群，在分析模式下运行）。 我尝试在集群上运行Scala程序，它们运行良好。 我需要创建代码并在笔记本电脑上使用IntelliJ运行。 如何连接和运行。 我知道我在代码中犯了错误。 我用一般的词。 我需要帮助编写特定的代码吗？ 示例：Localhost不正确。

 import org.apache.spark.{SparkContext, SparkConf}

  object HelloWorld {
  def main(args: Array[String]) {

    val conf = new SparkConf(true).set("spark:master", "localhost")
    val sc = new SparkContext(conf)
    val data = sc.cassandraTable("my_keyspace", "my_table") 

  }

}

Answer 1

val conf = new SparkConf().setAppName("APP_NAME")
    .setMaster("local")
    .set("spark.cassandra.connection.host", "localhost")
    .set("spark.cassandra.auth.username", "")
    .set("spark.cassandra.auth.password", "")

使用上面的代码连接到本地spark和cassandra。 如果您的cassandra集群启用了身份验证，则使用用户名和密码。

如果您想连接到远程spark和cassandra集群，然后将localhost替换为cassandra主机，并在setMaster使用spark:\\\\SPARK_HOST