如何將自定義Java類轉換為Spark數據集

Question

我無法找到一種方法將List的Test對象轉換為Spark中的數據集這是我的類：

public class Test {
    public String a;
    public String b;
    public Test(String a, String b){
        this.a = a;
        this.b = b;
    }

    public List getList(){
        List l = new ArrayList();
        l.add(this.a);
        l.add(this.b);

        return l;
    }
}

Answer 1

您在評論中創建DataFrame的代碼是正確的。 但是，定義Test的方式存在問題。 您只能使用Java Bean中的代碼創建DataFrame。 您的Test類不是Java Bean 。 解決之后，您可以使用以下代碼創建DataFrame：

Dataset<Row> dataFrame = spark.createDataFrame(listOfTestClasses, Test.class);

這些行創建一個類型化的數據集：

Encoder<Test> encoder = Encoders.bean(Test.class);
Dataset<Test> dataset = spark.createDataset(listOfTestClasses, encoder);