如何使用Java中的spark仅将几列保存到cassandra

Question

我正在尝试使用以下方法将 RDD 保存到 Cassandra

JavaRDD<UserSetGet> rddFromGz = sc.parallelize(ListFromS3);

CassandraJavaUtil.javaFunctions(rddFromGz)
        .writerBuilder("dmp", "table", mapToRow(UserSetGet.class)).saveToCassandra();

这里 UserSetGet 对象的所有字段都已初始化。

但我只想保存一些列，怎么做？

在文档中，它说我们可以做到

.saveToCassandra("test", "words", SomeColumns("word", "1"));

但它无法识别 SomeColumns 方法。

Answer 1

SomeColumns 方法用于Scala api，您使用的是 Java API ...

或许是转用Scala的好机会

Answer 2

希望以下几行对您有所帮助

val w1 = CassandraJavaUtil.javaFunctions(rdd23).writerBuilder("smart","emp", CassandraJavaUtil.mapToRow(classOf[emp]))
w1.withColumnSelector(CassandraJavaUtil.someColumns("pid","page")).saveToCassandra()