![](/img/trans.png)
[英]How to convert dataframe to RDD and store it in cassandra using spark scala
[英]how to store scala object onto cassandra table using spark
我有一个Scala模型类,我想将其对象存储到Cassandra表上.Cassandra和Scala类变量声明的列名顺序不匹配。
并且在Cassandra表中有一个附加列,在Scala类变量列表(tr_tag Text)
如(tr_tag Text)
没有该列,但是我无法做到这一点。
没有插入数据。 请帮助我解决此问题。
模型scala类:
class THData() extends Serializable{
var s_id: java.lang.Long = null
var a_id: String = null
var s_typ: String= null
var s_dt: java.util.Date= null
var t_s_id: String= null
var a_s_no: String= null
var avg_sp: java.lang.Float = null
}
将对象插入cassandra的方法:
def insert(data: THData) {
var em=sc.parallelize(Seq(data))
em.saveToCassandra("ap", "t_s_data")
}
Cassndra表的列名如下:
sid,援助,典型,sdt,tsid,asno,avgsp,tr_tag
我认为您应该按照文档中所述修改列名称:
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.