![](/img/trans.png)
[英]Exception org.apache.spark.rdd.RDD[(scala.collection.immutable.Map[String,Any], Int)] in scala/spark
[英]scala/spark:Read in RDD[(String,Int)]
我有以下文本文件(以前是從RDD [(String,Int)]輸出)
(ARCHITECTURE,50)
(BUSINESS,17)
(CHEMICAL ENGINEERING,6)
(CHILD DEVELOPMENT,43)
(CIVIL ENGINEERING,26)
etc
我可以這樣讀為RDD [String]:
spark.sparkContext.textFile(path + s"$path\\${fileName}_labelNames")
但是,如何讀取為RDD [String,Int]? 可能嗎?
編輯:修復了以上RDD類型中的錯誤
沒有RDD[String, Int]
,這是非法的。
也許您的意思是RDD[(String, Int)]
。
這是如何從原始數據進行轉換。
val data = original.map { record =>
val a = record.stripPrefix("(").stripSuffix(")").split(",")
val k = a(0)
val v = a(1).toInt
(k, v)
}
從源中讀取時,原始變量的類型為RDD[String]
。
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.