Spark CVS 加载 - 自定义架构 - 自定义 object

Question

Encoder<Transaction> encoder = Encoders.bean(Transaction.class);
Dataset<Row> transactionDS = sparkSession
                                    .read()
                                    .format("csv")
                                    .option("header", true)
                                    .option("delimiter", ",")
                                    .option("enforceSchema", false)
                                    .option("multiLine", false)
                                    .schema(encoder.schema())
                                    .load("s3a://xxx/testSchema.csv");
                                    .as(encoder);

    System.out.println("==============schema starts============");
    transactionDS.printSchema();
    System.out.println("==============schema ends============");

transactionDS.show(10, true); // this is the line that bombs.

我的 CVS 是这样的——

transactionId,accountId
1,2
10,44

我正在日志中打印我的模式 -（你看，列现在被翻转或排序 - 啊！）

==============schema starts============
root
 |-- accountId: integer (nullable = true)
 |-- transactionId: long (nullable = true)

==============schema ends============

我遇到错误

Caused by: java.lang.IllegalArgumentException: CSV header does not conform to the schema.
           Header: transactionId, accounted
           Schema: accountId, transactionId
           Expected: accountId but found: transactionId

这就是我的Tranaction的样子。

public class Transaction implements Serializable {

private static final long serialVersionUID = 7648268336292069686L;

private Long transactionId;
private Integer accountId;

public Long getTransactionId() {
    return transactionId;
}

public void setTransactionId(Long transactionId) {
    this.transactionId = transactionId;
}

public Integer getAccountId() {
    return accountId;
}

public void setAccountId(Integer accountId) {
    this.accountId = accountId;
}
}

问题 - 为什么 Spark 无法匹配我的模式？ 顺序乱了在我的 CSV 中，我传递了 transactionid、accountId，但 spark 使用了我的模式 accountId、transctionId。 啊!

Answer 1

不要使用 encoder.schema 加载 csv 文件，它的列顺序可能不按照 csv。

Answer 2

不像 parquet csv 没有模式，所以它不会应用正确的顺序，你可以做的是阅读 csv 没有：

.schema(encoder.schema())

然后将架构应用于您刚刚创建的数据集。

Answer 3

这就是我最终做的 -

        Encoder<Transaction> encoder = Encoders.bean(Transaction.class);
            
    // read data from S3
    System.out.println("Going to read file......................................");
    Dataset<Transaction> transactionDS = sparkSession
                                    .read()
                                    .format("csv")
                                    .option("header", true)
                                    .option("delimiter", ",")
                                    //.option("enforceSchema", false)
                                    .option("inferSchema", false)
                                    .option("dateFormat", "yyyy-MM-dd")
                                    //.option("multiLine", false)
                                    //.schema(encoder.schema())
                                    .schema(_createSchema())                                         
                                   .csv("s3a://xxx/transactions_4_with_column_names.csv")             
                                    .as(encoder);

_createSchema() function 如下 -

private static StructType _createSchema() {
    
    List<StructField> list = new ArrayList<StructField>() {
        
        private static final long serialVersionUID = -4953991596584287923L;

        {
            add(DataTypes.createStructField("transactionId", DataTypes.LongType, true));
            add(DataTypes.createStructField("accountId", DataTypes.IntegerType, true));
            add(DataTypes.createStructField("destAccountId", DataTypes.IntegerType, true));
            add(DataTypes.createStructField("destPostDate", DataTypes.DateType, true));                                         
        }
    };
    
    return new StructType(list.toArray(new StructField[0]));
}