如何从csv读取到ListMap

Question

我被分配了读取csv并创建ListMap变量的任务。 使用此特定类的原因是，对于其他一些用例，他们已经在使用ListMap作为输入参数的许多方法，并且他们还想要一个。

到目前为止，我所做的是：从csv中读取并创建rdd。 csv的格式为

"field1,field2"
"value1,value2"
"value3,value4"

在这个rdd中，我有字符串元组。 我现在想将其转换为ListMap类。 所以我所拥有的是类型为Array [（value1，value2），（value3，value4）]的变量 。

我这样做是因为我发现从CSV到元组很容易。 问题是我找不到从这里到ListMap的任何方法。 获得普通的Map类似乎更容易，但是正如我所说的，最终结果必须是ListMap类型的对象。

我一直在阅读，但我不太明白这个答案，也不是这个

Answer 1

Array("foo" -> "bar", "baz" -> "bat").toMap为您提供Map 。 如果您正在专门寻找ListMap （出于我的一生，想不出原因），那么您需要一个breakOut ：

 val map: ListMap[String, String] = 
    Array("foo" -> "bar", "baz" -> "bat")
     .toMap
     .map(identity)(scala.collection.breakOut)

breakOut是一种“集合工厂”，可让您在不同的集合类型之间进行隐式转换。 您可以在此处了解更多信息： https : //docs.scala-lang.org/tutorials/FAQ/breakout.html

Answer 2

根据您提供的样本数据，您可以使用collectAsMap API来获取最终ListMap

val rdd  = sparkSession.sparkContext.textFile("path to the text file")
  .map(line => line.split(","))
  .map(array => array(0) -> array(1))
  .collectAsMap()

而已。

现在，如果您想更进一步，可以执行以下步骤：

  var listMap : ListMap[String, String] = ListMap.empty[String, String]
  for(map <- rdd) {
    listMap += map
  }