繁体   English   中英

Scala-在连接两个RDD之后如何串联List和Option值?

Scala - How to concatenate List and Option values after joining two RDDs?

提示:本站收集StackOverFlow近2千万问答,支持中英文搜索,鼠标放在语句上弹窗显示对应的参考中文或英文, 本站还提供   中文繁体   英文版本   中英对照 版本,有任何建议请联系yoyou2525@163.com。

我有两个要加入的salesfromSource1: RDD[(String, List[Sale])] - salesfromSource1: RDD[(String, List[Sale])]filteredSales: RDD[(String, Sale)]

由于我想执行左联接,因此我尝试了以下方法:

val joinedSales: RDD[(String, (List[Sale], Option[Sale]))] = salesfromSource1.leftOuterJoin(filteredSales)

但是,如何连接这些值,以便得到RDD[(String, List[InvocaCall])]

我期望通过.mapValues(_._1 ::: _._2)实现此.mapValues(_._1 ::: _._2)

但是我得到一个类型不匹配的编译器突出显示(expected (List[Sale], Option[Sale]) => NotinferedU, actual: (Any, Any) => Any)

1 个回复

例如这样:

.mapValues {
   case (x, None) => x
   case (x, Some(y)) => x :: y
}

要么

.mapValues { x =>
  x._2.map(y => x._1 :: y).getOrElse(x._1)
}
2 Scala - 比较两个 Option[Seq[String]]

我是 Scala 语言的新手 - 我似乎在寻找用于排序和比较两个 Option[Seq[String]] 的正确语法时遇到了问题。 无论内容顺序如何,两者都应该相等。 此测试中的最后一行失败。 我希望这段代码充分记录了这个问题。 ...

3 在 Scala 中组合两个 Option[List[String]]

我有两个选择 opt1 或 opt2 都可以是 None。 如果其中一个是 None ,那么我想要一个包含在另一个列表中的选项。 如果两者都是 None 那么 None 应该返回。 如果两者都是 Some 则 Some 包含来自两个列表的元素的列表,如下所示: 我知道我可以手动执行此操作 ...

2017-03-01 20:39:11 6 2231   scala
4 Scala-条件数组/两个数组的连接,默认值用于理解

我有两个序列,说: 我如何获得一个产品,使得第一个数组的元素与第二个数组的每个元素连接在一起,第二个数组的每个元素以beginWith开头,并且当第二个数组中的任何元素都不满足条件时,也会产生默认的空结果。 有效地获得输出: 我试着做 我得到: 是否存在一种 ...

6 在Scala,Spark中连接两个(成对)RDD

根据此处提供的答案,我正在尝试加入两个配对的RDD 连接两个RDD [String] -Spark Scala 我收到一个错误 错误:值leftOuterJoin不是org.apache.spark.rdd.RDD的成员 代码段如下。 在这种情况下,field1和 ...

8 如何压缩两个RDD(Scala)

我有两个具有以下形式的RDD: RDD A :(列:icchID,X_Coord) RDD B :(列:Y_Coord,类) 我想将这两个RDD组合在一起,以便拥有一个具有以下形式的RDD: 请注意,两个RDD的行和列都相同。 是否可以使用Scala做到这一点? ...

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2022 STACKOOM.COM