使用数据类型映射将数据帧写入csv <string,bigint> 在Spark中

Question

我有一个文件为file1snappy.parquet。 它具有一个复杂的数据结构，如映射，内部数组。经过处理后，我得到了最终结果。将结果写入CSV时，我得到了一些错误提示

"Exception in thread "main" java.lang.UnsupportedOperationException: CSV data source does not support map<string,bigint> data type."

我使用的代码：

val conf=new SparkConf().setAppName("student-example").setMaster("local")
    val sc = new SparkContext(conf)
    val sqlcontext = new org.apache.spark.sql.SQLContext(sc)
    val datadf = sqlcontext.read.parquet("C:\\file1.snappy.parquet")
    def sumaggr=udf((aggr: Map[String, collection.mutable.WrappedArray[Long]]) => if (aggr.keySet.contains("aggr")) aggr("aggr").sum else 0)
datadf.select(col("neid"),sumaggr(col("marks")).as("sum")).filter(col("sum") =!= 0).show(false)
    datadf.write.format("com.databricks.spark.csv").option("header", "true").save("C:\\myfile.csv")

我尝试转换datadf.toString（），但仍然遇到相同的问题。 如何将结果写入CSV。

Answer 1

Spark CSV源仅支持原子类型。 您不能存储任何非原子列

我认为最好是为具有map<string,bigint>作为数据类型的列创建一个JSON，并将其保存在csv中，如下所示。

import spark.implicits._ 
import org.apache.spark.sql.functions._

datadf.withColumn("column_name_with_map_type", to_json(struct($"column_name_with_map_type"))).write.csv("outputpath")

希望这可以帮助！

Answer 2

您正在尝试保存的输出

val datadf = sqlcontext.read.parquet("C:\\file1.snappy.parquet")

我想这是一个错误，因为udf函数，如果这样做，所有完成的聚合都将白费

所以我想你想保存输出

datadf.select(col("neid"),sumaggr(col("marks")).as("sum")).filter(col("sum") =!= 0).show(false)

因此，您需要将其保存在新的dataframe变量中，然后使用该变量进行保存。

val finalDF = datadf.select(col("neid"),sumaggr(col("marks")).as("sum")).filter(col("sum") =!= 0)
finalDF.write.format("com.databricks.spark.csv").option("header", "true").save("C:\\myfile.csv")

而且你应该没事。