Scala为数据帧中的每一行应用一个函数[重复]

Question

这个问题已经在这里有了答案：

• 将功能应用于Spark DataFrame 1的 每一行

我在Scala中有一个数据框，在这里我需要为每行应用一个函数：

val df1 // this df is the initial df which has rows in it
val df2 = df1.flatMap( row => postToDB(row))

我需要编写一个名为postToDB的函数，在该函数中，我需要将失败的记录返回到数据库，最后返回一个行的数据框。

def postToDB(val: Row): DataFrame = {

  try{
    //Try inserting to db , this is successful if failed exception is caught.
  } catch {
    case ex: Exception => ex.printStackTrace()
    //return failed rows as a dataframe 
  } 
}

如何为每行应用postToDB函数，并仅将失败的行作为数据帧返回？

Answer 1

您可以使用Optional返回类型。

import spark.implicits._


val df1 // this df is the initial df which has rows in it

val df2 = df1.flatMap( row => postToDB(row))

df2.map(println).getOrElse("successfull")

def postToDB ( val: Row ): Optional[DataFrame] = {
  try {
    //Try inserting to db , this is successful if failed exception is caught.

     None // if success return none
  } catch {
    case ex: Exception => {
     ex.printStackTrace()
     Some(spark.createDF(val)) //return failed rows as a dataframe 
  }
}

Answer 2

问题在于postToDB的返回类型。 您返回的数据框在这种情况下是非法类型。

提供给flatMap的方法应返回Traversable，因为flatMap的接口为：

flatMap[U](func: (T) ⇒ TraversableOnce[U])(implicit arg0: Encoder[U]): Dataset[U] 

数据框未实现TraversableOnce。

而是简单地返回一个列表，该列表可以为空或如下所示为单行：

def postToDB(row: Row): Traversable[Row] = {

  try{
    //Try inserting to db , this is successful if failed exception is caught.
    List()
  } catch {
    case ex: Exception => ex.printStackTrace()
    List(row)
  } 
}

注意：您不能在flatMap方法（或序列化到worker的任何方法，包括UDF，映射方法等）中使用Dataframe，Dataset，SparkContext或与spark的分布式元素相关的任何构造。 Spark允许仅向工作者发送对标准Scala对象或未分发的Spark对象（例如，行）可用的方法。