尝试从RDD返回Map [（String，String），（Double，Double）]时无法将java.lang.String强制转换为java.lang.Double错误

Question

我正在尝试使用|读取.txt文件| 分隔符作为RDD并尝试返回Map[(String, String),(Double, Double)] ，但是我遇到了CastException

java.lang.ClassCastException: java.lang.String cannot be cast to java.lang.Double

输入数据如下所示

string1|string2|100.00|200.00
string1|string2|34.98|0.989

这就是我作为rdd读取文件并解析它的方式

val mydata = sc
  .textFile("file")
  .map(line => line.split("|"))
  .map(row =>
    ((row(0), row(1)),
     (row(2).asInstanceOf[Double], row(3).asInstanceOf[Double])))
  .collect
  .toMap

我该如何解决这个问题

预期输出：

Map[(String, String),(Double, Double)] = Map((string1,string2) -> (100.0,200.0), (string1,string2) -> (34.98,0.989))

Answer 1

为了安全起见，您可以使用trim函数，也可以使用collectAsMap

val mydata = sc
  .textFile("file")
  .map(line => line.split("\\|"))
  .map(row =>
    ((row(0), row(1)),
      (row(2).trim.asInstanceOf[Double], row(3).trim.asInstanceOf[Double])))
  .collectAsMap()

为了更加安全，您可以使用Try/getOrElse

val mydata = sc
  .textFile("file")
  .map(line => line.split("\\|"))
  .map(row =>
    ((row(0), row(1)),
      (Try(row(2).trim.asInstanceOf[Double]).getOrElse(0.0), Try(row(3).trim.asInstanceOf[Double]).getOrElse(0.0))))
  .collectAsMap()

此外，您可以使用toDouble代替asInstanceOf[Double]

val mydata = sc
  .textFile("file")
  .map(line => line.split("\\|"))
  .map(row =>
    ((row(0), row(1)), 
      (Try(row(2).trim.toDouble).getOrElse(0.0), Try(row(3).trim.toDouble).getOrElse(0.0)))
  )
  .collectAsMap().foreach(println)