簡體   English   中英

scala / spark:讀入RDD [(String,Int)]

[英]scala/spark:Read in RDD[(String,Int)]

我有以下文本文件(以前是從RDD [(String,Int)]輸出)

(ARCHITECTURE,50)
(BUSINESS,17)
(CHEMICAL ENGINEERING,6)
(CHILD DEVELOPMENT,43)
(CIVIL ENGINEERING,26)
 etc

我可以這樣讀為RDD [String]:

 spark.sparkContext.textFile(path + s"$path\\${fileName}_labelNames")

但是,如何讀取為RDD [String,Int]? 可能嗎?

編輯:修復了以上RDD類型中的錯誤

沒有RDD[String, Int] ,這是非法的。

也許您的意思是RDD[(String, Int)]

這是如何從原始數據進行轉換。

val data = original.map { record =>
      val a = record.stripPrefix("(").stripSuffix(")").split(",")
      val k = a(0)
      val v = a(1).toInt
      (k, v)
    }

從源中讀取時,原始變量的類型為RDD[String]

暫無
暫無

聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM