Spark-将Scala转换为Java

Question

使用apache-spark处理数据。

给定这样的scala代码：

val rdd1 = sc.cassandraTable("player", "playerinfo").select("key1", "value")
val rdd2 = rdd1.map(row => (row.getString("key1"), row.getLong("value")))

基本上，它隐蔽一个RDD “RDD1集”到另一个RDD “RDD2”，但其存储“RDD1集”作为键-值对的形式。

请注意，源数据来自cassandra并且keys1是复合键的一部分，而value是值。

然后如何将其转换为Java以便使用spark Java API获得JavaPairRDD<String,Long> ？ 我已经有一个从下面的Java代码成功生成的cassandraRowsRDD ：

  JavaRDD<String> cassandraRowsRDD = javaFunctions(sc).cassandraTable("player", "playerinfo")
            .map(new Function<CassandraRow, String>() {
                @Override
                public String call(CassandraRow cassandraRow) throws Exception {
                    return cassandraRow.toString();
                }
            });

Answer 1

CassandraJavaRDD继承了mapToPair方法。 您可以调用它来获取Java中的键值对RDD。

    JavaPairRDD<String, String> cassandraKeyValuePairs = javaFunctions(sc).cassandraTable("player", "playerinfo").mapToPair(
            new PairFunction<CassandraRow, String, String>() {
                @Override
                public Tuple2<String, String> call(CassandraRow row) throws Exception {
                    return new Tuple2(row.getString("key1"), row.getLong("value"));
                }
            }
    );

您也可以在cassandraRowsRDD上调用该函数。