簡體   English   中英

如何在Java中的Apache Spark中將DataFrame轉換為Dataset?

[英]How to convert DataFrame to Dataset in Apache Spark in Java?

我可以很容易地將Scala中的DataFrame轉換為Dataset:

case class Person(name:String, age:Long)
val df = ctx.read.json("/tmp/persons.json")
val ds = df.as[Person]
ds.printSchema

但在Java版本中我不知道如何將Dataframe轉換為Dataset? 任何的想法?

我的努力是:

DataFrame df = ctx.read().json(logFile);
Encoder<Person> encoder = new Encoder<>();
Dataset<Person> ds = new Dataset<Person>(ctx,df.logicalPlan(),encoder);
ds.printSchema();

但是編譯器說:

Error:(23, 27) java: org.apache.spark.sql.Encoder is abstract; cannot be instantiated

編輯(解決方案):

基於@Leet-Falcon答案的解決方案:

DataFrame df = ctx.read().json(logFile);
Encoder<Person> encoder = Encoders.bean(Person.class);
Dataset<Person> ds = new Dataset<Person>(ctx, df.logicalPlan(), encoder);

官方Spark文檔在Dataset API中建議如下:

通過在編碼器上調用靜態方法來指定Java編碼

List<String> data = Arrays.asList("abc", "abc", "xyz");
Dataset<String> ds = context.createDataset(data, Encoders.STRING());

編碼器可以組成元組:

Encoder<Tuple2<Integer, String>> encoder2 = Encoders.tuple(Encoders.INT(), Encoders.STRING());
List<Tuple2<Integer, String>> data2 = Arrays.asList(new scala.Tuple2(1, "a");
Dataset<Tuple2<Integer, String>> ds2 = context.createDataset(data2, encoder2);

或者由編碼器編寫的 Java Beans #bean

Encoders.bean(MyClass.class);

如果要將通用DF轉換為Java中的數據集,可以使用如下所示的RowEncoder類

DataFrame df = sql.read().json(sc.parallelize(ImmutableList.of(
            "{\"id\": 0, \"phoneNumber\": 109, \"zip\": \"94102\"}"
    )));

    Dataset<Row> dataset = df.as(RowEncoder$.MODULE$.apply(df.schema()));

暫無
暫無

聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM