[英]Can we connect to Spark Master using Beeline
我有一个设置有6个节点的Cassandra集群。 我安装了Spark和Thrift服务器,以便我们可以使用Tableu连接到Cassandra数据库。 我们设置了1个主Spark节点和2个工作节点。
我按以下方式启动节俭服务器:
/usr/local/spark/sbin/start-thriftserver.sh —-master spark://<spark-
master>:7077 –hiveconf hive.server2.thrift.port 10015 --jars
/var/spark-connector/jars/spark-cassandra-connector-2.0.0-M2-s_2.11.jar
--driver-class-path /var/spark-connector/jars/spark-cassandra-
connector-2.0.0-M2-s_2.11.jar --conf spark.cassandra.connection.host="
<i.p1>,<i.p2>,<i.p3>,<i.p4>,<i.p5>,<i.p6>" --driver-memory 5G --
executor-memory 5G
我可以转到http://spark-master:8080/
并查看刚刚启动的Thrift服务器。
现在,我使用以下方法连接到Beeline:
!connect jdbc:hive2://spark-master:10000
我可以在Spark中为Cassandra中的键空间创建视图并运行查询,但是它们实际上都没有使用spark集群。 意思是,我在Spark Master UI中看不到任何作业。
我在这里真的缺少基本的东西吗? 我什至可以让beeline使用Spark Master吗?
注意:我有Thrift Server和Spark Master在同一节点上运行。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.