繁体   English   中英

在Snappy-shell / snappy-sql中创建的表未显示智能连接器模式 java的

[英]Tables created in Snappy-shell/snappy-sql do not show up smart connector mode | java

sparkcontext创建如下

SparkConf sparkConf = new SparkConf().setAppName(args[0]);
snappySes = new SnappySession(new SparkSession.Builder().config("spark.snappydata.connection", "localhost:1527").getOrCreate())

读取快速数据

snappySes.table("SNAPPY_COL_TABLE").show(10);

作业提交如下

/usr/hdp/2.6.2.0-205/spark2/bin/spark-submit --conf --conf snappydata.connection=localhost:1527 --conf spark.ui.port=0 --master local[*] --driver-memory 2g --jars  --deploy-mode client --conf spark.driver.extraClassPath=/root/snappydata-1.0.1-bin/jars/* --conf  spark.executor.extraClassPath=/root/snappydata-1.0.1-bin/jars/* --class myclass

作业正在连接到snappydata,下面的日志

在群集模式下初始化SnappyData:智能连接器模式:sc = org.apache.spark.SparkContext@164d01ba,url = jdbc:snappydata:// localhost [1527] /

但是失败,没有找到表。这指向一个不同的商店,列出了不同的表

如果使用snappy的sparksubmit提交了相同的作业。 可以正常工作。 唯一的变化是提交工作

/usr/hdp/2.6.2.0-205/spark2/bin/spark-submit --- fails
/root/snappydata-1.0.1-bin/bin/spark-submit ---- Pass

大概您正在运行两个snappydata群集。 而且,以某种方式您的localhost无法统一解析? 如果停止快照群集,则在提交到HDP时会得到异常消息吗?

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM