[英]Scala spark: Create List of Dataset from a Dataset map operation
假设我想在转换另一个数据集后创建 2 种类型的指标:metricA 或 metricB。 如果满足某个条件,它将同时生成 metricA 和 B,如果不满足条件,则仅生成 metric A。想法是将 2 个 metric 写入 2 个不同的路径(pathA,pathB)。
我采取的方法是创建一个 GeneralMetric 的数据集,然后根据里面的内容,写入不同的路径,但显然它不起作用,因为数据集中的模式匹配不起作用
val s: SparkSession = SparkSession
.builder()
.appName("Metric")
.getOrCreate()
import s.implicits._
case class original (id : Int, units: List[Double])
case class MetricA (a: Int, b: Int, filtered_unit: List[Double])
case class MetricB (a: Int, filtered_unit: List[Double])
case class GeneralMetric(metricA: MetricA, metricB: Option[MetricB])
def createA: MetricA = {
MetricA(1, 1, List(1.0, 2.0)
}
def createB: MetricB = {
MetricB(1, List(10.0, 20.0)
}
def create (isBoth: Boolean): GeneralMetric = {
if(isBoth) {
val a: MetricA = createA()
val b: MetricB = createB()
GeneralMetric(a, Some(b))
}
else {
val a: MetricA = createA()
GeneralMetric(a, None)
}
}
val originalDF: DataFrame
val result : Dataset[GeneralMetric] =
originalDF.as[original]
.map { r =>
if(r.id == 21) create(true)
else create(false)
}
val pathA: String = "s3://pathA"
val pathB: String = "s3://pathB"
//below code obviously wouldn't work
result.map(x => {
case (metricA, Some(metricB)) => {
metricA.write.parquet(pathA)
metricB.write.parquet(pathB)
}
case (metricA, None) => metricA.write.parquet(pathA)
})
我想到的下一个方法是将结果放在 List[GeneralMetric] 中,其中 GeneralMetric 是一个密封的轨迹,由 MetricA 和 MetricB 扩展,但我怎样才能使数据集转换返回一个 GeneralMetric 列表。
任何想法都会有所帮助
为什么不
result.map({
case (metricA, Some(metricB)) =>
metricA.write.parquet(pathA)
metricB.write.parquet(pathB)
case (metricA, None) => metricA.write.parquet(pathA)
})
在你的情况下工作? 这只是语法问题吗?
另外:您似乎是独立发送指标(或至少在此示例中)。 您可以将 model 设置为:
sealed trait Metric {
def write
}
case class MetricA (a: Int, b: Int, filtered_unit: List[Double]) extends Metric {
override def write: Unit = ???
}
case class MetricB (a: Int, filtered_unit: List[Double]) extends Metric {
override def write: Unit = ???
}
并打电话
implicit val enc: Encoder[Metric] = Encoders.kryo[Metric]
val result: Dataset[Metric] =
originalDF.as[original]
.flatMap { r =>
if (r.id == 21) createA :: createB :: Nil
else createA :: Nil
}
result.foreach(metric.write.parquet())
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.