![](/img/trans.png)
[英]Convert RDD[Array[(String,String)]] type to RDD[(String,String)] in scala
[英]Convert RDD[(String, String, String)] to RDD[(String, (String, String))] in Spark Scala
有 2 个 rdds ,我正在尝试加入:当每个 rdd 中有 2 个参数时它正在加入,但是当我在现有 GTINs rdd 中添加一个新参数时,我面临以下错误:
下面是代码:
newGTS.collect()
(00070137115045,00070137115045)
(00799999150451,00799999150451)
existingGTS.collect()
(00799999150451,(00003306-808b-46da-bc7f-419c5ae223a7,2016-10-10 10:23:12.0))
(00016700000653,(00006d79-94ea-4651-be0c-0ce77958cd45,2021-05-31 01:20:39.291))
(00923846453024,(0000704b-b40d-4b9e-b266-f7c66723df0e,null))
(00610074049265,(0000a7a1-587c-4b13-a155-7846df82fdee,2020-03-20 12:16:55.873))
(00034100516079,(0002495f-6084-49dd-aadb-20cd137d9694,null))
val join1 = newGTINs.leftOuterJoin(existingGTINs) mapValues {
case (gtin, iUUID, createDt) => (iUUID.isEmpty, iUUID.getOrElse(UUID.randomUUID.toString))
}
error: constructor cannot be instantiated to expected type;
found : (T1, T2, T3)
required: (String, Option[(String, String)])
case (gtin, iUUID, createDt) => (iUUID.isEmpty, iUUID.getOrElse(UUID.randomUUID.toString))
^
PS: UUID.randomUUID.toString --> 这个函数是创建一个随机id
我猜测在 join 中使用的newGTINs
和existingGTINs
应该与集合中显示的newGTS
和existingGTS
相同。
由于您的newGTSINs
看起来是一个RDD[(String, String)]
并且existingGTINS
是一个RDD[(String, (String, String))]
,您的newGTINs.leftOuterJoin(existingGTINs)
将是一个RDD[(String,(String, Option[(String, String)]))]
。
这意味着您的mapValues
将需要一个函数(String, Option[(String, String)]) => SomeNewType
或作为参数。 它还可以接受满足相似类型语义的偏函数。
但是你的{ case (gtin, iUUID, createDt) => (iUUID.isEmpty, iUUID.getOrElse(UUID.randomUUID.toString)) }
是一个偏函数,它对应于类型(String, String, String) => SomeNewType
。
注意差异,因此是错误。 您可以通过提供适当的部分函数来满足mapValues
要求来解决此问题。
val join1 =
newGTINs
.leftOuterJoin(existingGTINs)
.mapValues {
case (gtin, Some(iUUID, createDt)) =>
(iUUID.isEmpty, iUUID.getOrElse(UUID.randomUUID.toString))
case (gtin, None) =>
// what heppens for gtins without matching element in existing one's
(true, UUID.randomUUID.toString)
}
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.