如何从本地提交Spark Job并连接到Cassandra集群

Question

任何人都可以让我知道如何从本地提交spark Job并连接到Cassandra集群。

当前，我通过腻子登录到Cassandra节点并提交以下dse-spark-submit Job命令后，将提交Spark作业。

命令： dse spark-submit --class ***** --total-executor-cores 6 --executor-memory 2G **/**/**.jar --config-file build/job.conf --args

使用上面的命令，我的spark Job能够连接到集群及其执行，但是有时会遇到问题。

因此，我想从本地计算机提交Spark作业。 谁能指导我如何做到这一点。

Answer 1

“在本地工作”可能意味着几件事情

这是我的一些解释

在本地计算机上运行Spark驱动程序，但访问远程群集的资源

我出于某些原因不建议这样做，最大的原因是您的所有作业管理仍将在远程计算机和集群中的执行者之间进行。 这相当于让Hadoop Job Tracker在与Hadoop分发版其余部分不同的集群中运行。

为此，尽管您需要使用特定的主uri运行spark提交。 另外，您需要通过spark.cassandra.connection.host指定一个Cassandra节点

dse spark-submit --master spark://sparkmasterip:7077 --conf spark.cassandra.connection.host aCassandraNode --flags jar

将罐子保持在最后很重要。 jar后面的所有参数都被解释为应用程序的参数，而不是spark-submit参数。

在本地计算机上运行Spark Submit，但在群集中运行驱动程序（集群模式）

集群模式意味着您的本地计算机将jar和环境字符串发送到Spark Master。 然后，Spark Master选择一个工作程序来实际运行驱动程序，并且该工作程序将驱动程序作为单独的JVM启动。 这是使用--deploy-mode cluster标志触发的。 除了指定Master和Cassandra连接主机。

dse spark-submit --master spark://sparkmasterip:7077 --deploy-mode cluster --conf spark.cassandra.connection.host aCassandraNode --flags jar

在Local模式下运行Spark驱动程序

最后，存在Spark的Local模式，该模式在单个JVM中启动整个Spark Framework。 这主要用于测试。 通过传递`--master local``激活本地模式

有关更多信息，请查看有关提交申请的Spark文档

http://spark.apache.org/docs/latest/submitting-applications.html