如何使用Java中的spark僅將幾列保存到cassandra

Question

我正在嘗試使用以下方法將 RDD 保存到 Cassandra

JavaRDD<UserSetGet> rddFromGz = sc.parallelize(ListFromS3);

CassandraJavaUtil.javaFunctions(rddFromGz)
        .writerBuilder("dmp", "table", mapToRow(UserSetGet.class)).saveToCassandra();

這里 UserSetGet 對象的所有字段都已初始化。

但我只想保存一些列，怎么做？

在文檔中，它說我們可以做到

.saveToCassandra("test", "words", SomeColumns("word", "1"));

但它無法識別 SomeColumns 方法。

Answer 1

SomeColumns 方法用於Scala api，您使用的是 Java API ...

或許是轉用Scala的好機會

Answer 2

希望以下幾行對您有所幫助

val w1 = CassandraJavaUtil.javaFunctions(rdd23).writerBuilder("smart","emp", CassandraJavaUtil.mapToRow(classOf[emp]))
w1.withColumnSelector(CassandraJavaUtil.someColumns("pid","page")).saveToCassandra()