Scala RDD[(String,String)] 到 RDD[String]
[英]Scala RDD[(String,String)] to RDD[String]
問題描述
我們正在讀取 UTF_8 格式的文件 RDD[(String,String)]，需要幫助將其轉換為 RDD[String]。
val textRdd = sparkSession.sparkContext.binaryFiles(filePath,12)
.mapValues(content => new String(content.toArray(), StandardCharsets.UTF_8))
1 個解決方案
解決方案1
1 2021-08-13 13:06:12
您只需要從元組即（字符串，字符串）中提取值。
val outRDD = textRdd.map(t=>t._2) // To get first value use t._1
在 scala 中將 RDD[Array[(String,String)]] 類型轉換為 RDD[(String,String)]
[英]Convert RDD[Array[(String,String)]] type to RDD[(String,String)] in scala
在Scala中過濾RDD [（VertexId，（VertexId，String，String））]
[英]Filter RDD[(VertexId,(VertexId, String, String))] in Scala
在 Spark Scala 中將 RDD[(String, String, String)] 轉換為 RDD[(String, (String, String))]
[英]Convert RDD[(String, String, String)] to RDD[(String, (String, String))] in Spark Scala
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.
相關問題
將Scala RDD [String]轉換為RDD [String，String]
Scala RDD字符串操作
在 scala 中將 RDD[Array[(String,String)]] 類型轉換為 RDD[(String,String)]
將scala數據幀轉換為RDD [array [String]]
Scala，RDD數組[字符串]連接
Scala - 將 RDD[String] 變成 Map
在Scala中過濾RDD [（VertexId，（VertexId，String，String））]
將scala字符串轉換為RDD [seq [string]]
在 Spark Scala 中將 RDD[(String, String, String)] 轉換為 RDD[(String, (String, String))]
將字符串RDD轉換為Int RDD
相關標簽