遍历 RelationalGroupedDataset 以查找 Java 中每个键的平均值和计数

Question

我有一个Dataset<Row> ，它是通过读取 CSV 文件构建的。 我想对 CSV 中的一个字段进行分组，然后合并所有具有相同名称的记录，并对合并的数据集进行一些其他计算。

我的输入 CSV 文件看起来像这样

name,math_marks,science_marks
Ajay,10,20
Ram,15,25
Sita,18,30
Ajay,20,30
Sita,12,10
Sita,20,20
Ram,25,45

我希望最终的 output 是这样的

name,math_avg,science_avg,count_of_records
Ajay,15,25,2
Ram,20,35,2
Sita,25,20,3

我在 Java 中的初始代码如下：

import lombok.extern.slf4j.Slf4j;
import org.apache.spark.SparkConf;
import org.apache.spark.SparkContext;
import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.RelationalGroupedDataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.SparkSession;

import java.util.List;
import java.util.stream.Collectors;
@Slf4j
public class ReadCSVFiles {
    public static void main(String[] args) {
        SparkConf conf = new SparkConf().setAppName(ReadCSVFiles.class.getName()).setMaster("local");
        // create Spark Context
        SparkContext context = new SparkContext(conf);
        // create spark Session
        SparkSession sparkSession = new SparkSession(context);
        context.setLogLevel("INFO");

        Dataset<Row> df = sparkSession.read()
                .format("csv")
                .option("header", true)
                .option("inferSchema", true)
                .load("/Users/ajaychoudhary/Downloads/marksInputFile.csv");

        System.out.println("========== Print Schema ============");
        df.printSchema();
        System.out.println("========== Print Data ==============");
        df.show();
        System.out.println("========== Print name of dataframe ==============");
        df.select("name").show();
        RelationalGroupedDataset relationalGroupedDataset = df.groupBy("name");
        List<String> relationalGroupedDatasetRows = relationalGroupedDataset.count().collectAsList().stream()
                .map(a -> a.mkString("::")).collect(Collectors.toList());
        log.info("relationalGroupedDatasetRows is = {} ", relationalGroupedDatasetRows);

    }
}

到目前为止，我收到了这个 output ，它能够找到唯一用户的数量。 我无法找到分数的平均值。

relationalGroupedDatasetRows is = [Ram::2, Ajay::2, Sita::3]

另外，我需要了解上述使用 groupBy 的方法是否可行，或者我们可以使用其他替代方法来实现这一点。

Answer 1

我对此知之甚少，但您使用的是“计算每个组的行数”的“计数”方法。 而是尝试使用“返回每个组的平均值”的 'avg' 方法。