繁体   English   中英

我们可以使用Beeline连接到Spark Master吗

[英]Can we connect to Spark Master using Beeline

我有一个设置有6个节点的Cassandra集群。 我安装了SparkThrift服务器,以便我们可以使用Tableu连接到Cassandra数据库。 我们设置了1个主Spark节点和2个工作节点。

我按以下方式启动节俭服务器:

/usr/local/spark/sbin/start-thriftserver.sh —-master spark://<spark-
master>:7077 –hiveconf hive.server2.thrift.port 10015 --jars 
/var/spark-connector/jars/spark-cassandra-connector-2.0.0-M2-s_2.11.jar 
--driver-class-path /var/spark-connector/jars/spark-cassandra-
connector-2.0.0-M2-s_2.11.jar --conf spark.cassandra.connection.host="
<i.p1>,<i.p2>,<i.p3>,<i.p4>,<i.p5>,<i.p6>" --driver-memory 5G --
executor-memory 5G

我可以转到http://spark-master:8080/并查看刚刚启动的Thrift服务器。

现在,我使用以下方法连接到Beeline:

!connect jdbc:hive2://spark-master:10000

我可以在Spark中为Cassandra中的键空间创建视图并运行查询,但是它们实际上都没有使用spark集群。 意思是,我在Spark Master UI中看不到任何作业。

我在这里真的缺少基本的东西吗? 我什至可以让beeline使用Spark Master吗?

注意:我有Thrift Server和Spark Master在同一节点上运行。

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM