
[英]Tables created in Snappy shell do not show up in JDBC or Pulse
[英]Tables created in Snappy-shell/snappy-sql do not show up smart connector mode | java
sparkcontext创建如下
SparkConf sparkConf = new SparkConf().setAppName(args[0]);
snappySes = new SnappySession(new SparkSession.Builder().config("spark.snappydata.connection", "localhost:1527").getOrCreate())
读取快速数据
snappySes.table("SNAPPY_COL_TABLE").show(10);
作业提交如下
/usr/hdp/2.6.2.0-205/spark2/bin/spark-submit --conf --conf snappydata.connection=localhost:1527 --conf spark.ui.port=0 --master local[*] --driver-memory 2g --jars --deploy-mode client --conf spark.driver.extraClassPath=/root/snappydata-1.0.1-bin/jars/* --conf spark.executor.extraClassPath=/root/snappydata-1.0.1-bin/jars/* --class myclass
作业正在连接到snappydata,下面的日志
在群集模式下初始化SnappyData:智能连接器模式:sc = org.apache.spark.SparkContext@164d01ba,url = jdbc:snappydata:// localhost [1527] /
但是失败,没有找到表。这指向一个不同的商店,列出了不同的表
如果使用snappy的sparksubmit提交了相同的作业。 可以正常工作。 唯一的变化是提交工作
/usr/hdp/2.6.2.0-205/spark2/bin/spark-submit --- fails
/root/snappydata-1.0.1-bin/bin/spark-submit ---- Pass
大概您正在运行两个snappydata群集。 而且,以某种方式您的localhost
无法统一解析? 如果停止快照群集,则在提交到HDP时会得到异常消息吗?
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.