將數據幀轉換為哈希圖，其中 Key 為 int，Value 為 Scala 中的列表

Question

我有一個看起來像這樣的數據框：

鑰匙	字
1	['一個測試']
2	['你好呀]

我想創建以下哈希圖：

Map(1 -> ['a', 'test'], 2 -> ['hi', 'there'])

但是我不知道如何做到這一點，有人可以幫助我嗎？

謝謝！

Answer 1

必須有幾十種方法來做到這一點。 一種是：

df.collect().map { case row => (row.getAs[Int](0) -> row.getAs[mutable.WrappedArray[String]](1))}.toMap

Answer 2

這與此問題中的解決方案非常相似。 下面應該給你你想要的輸出。 它將所有地圖收集為一個集合，然后使用 UDF 創建單個地圖。 這伴隨着關於 UDF 函數潛在性能不佳的常見警告。

import org.apache.spark.sql.functions.{col, map, collect_list, lit}
import org.apache.spark.sql.functions.udf

val joinMap = udf { values: Seq[Map[Int, Seq[String]]] =>
  values.flatten.toMap
}

val df = Seq((1, Seq("a", "test")), (2, Seq("hi", "there"))).toDF("key", "words")

val rDf = df
  .select(lit(1) as "id", map(col("key"), col("words")) as "kwMap")
  .groupBy("id")
  .agg(collect_list(col("kwMap")) as "kwMaps")
  .select(joinMap(col("kwMaps")) as "map")

rDf.show