如何在Java中將平面圖與個性化對象一起使用

Question

我正在嘗試展平包含多個頁面鏈接（個性化對象）列表的RDD。

這就是我想要做的：

JavaRDD<List<PageLink>> lines = sc.textFile(args[0])
                .filter(s -> s.startsWith("INSERT INTO")) // Only INSERT INTO lines
                .map(s -> s.substring(31)) // Substract 'INSERT INTO `pagelinks` VALUES ' from the line
                .map(s -> getValues(s));

        JavaRDD<PageLink> pageLinks = lines.flatMap();

這是我的PageLink類：

/*
 * To change this license header, choose License Headers in Project Properties.
 * To change this template file, choose Tools | Templates
 * and open the template in the editor.
 */
package me.dekimpe.types;
import java.io.Serializable;

/**
 *
 * @author Coreuh
 */
public class PageLink implements Serializable {

    private int pl_id;
    private String pl_title;

    public int getId() {
        return pl_id;
    }

    public String getTitle() {
        return pl_title;
    }

    public void setId(int pl_id) {
        this.pl_id = pl_id;
    }

    public void setTitle(String pl_title) {
        this.pl_title = pl_title;
    }

    public String toString() {
        return "Pagelink : {'pl_id': " + this.pl_id + ", 'pl_title': '" + this.pl_title + "'}";
    }

}

我想這樣做是因為我想用得到的PageLinks創建一個DataFrame：

Dataset<Row> df = spark.createDataFrame(pageLinks, PageLink.class);
        df.limit(100).show();

Answer 1

您需要在.flatMap()返回迭代器

JavaRDD<PageLink> pageLinks = lines.flatMap(list -> list.iterator());

最后一個功能，而計算lines可以是flatMap()而不是map()如果你需要在一個單一的語句來完成。