如何用3个值减少reduceByKey？

Question

我试图遍历文本文件的RDD，对文件中的每个唯一单词求和，然后累加每个唯一单词后面的所有单词及其计数。 到目前为止，这就是我所拥有的：

// connecting to spark driver
val conf = new SparkConf().setAppName("WordStats").setMaster("local")
val spark = new SparkContext(conf) //Creates a new SparkContext object

//Loads the specified file into an RDD
val lines = sparkContext.textFile(System.getProperty("user.dir") + "/" + "basketball_words_only.txt")

//Splits the file into individual words
val words = lines.flatMap(line => {

  val wordList = line.split(" ")

  for {i <- 0 until wordList.length - 1}

    yield (wordList(i), wordList(i + 1), 1)

})

如果到目前为止我还不清楚，我想做的就是累积文件中每个单词之后的单词集，以及所述单词跟随其前一个单词的次数，形式为：

（PrecedingWord，（FollowingWord，numberOfTimesWordFollows））

数据类型为（String，（String，Int））

Answer 1

您可能需要遵循以下原则：

(for {
  line <- lines
  Array(word1, word2) <- line.split("\\s+").sliding(2)
} yield ((word1, word2), 1))
 .reduceByKey(_ + _)
 .map({ case ((word1, word2), count) => (word1, (word2, count)) })

顺便说一句，你可能希望确保每一个的“线” lines RDD相当于句话让你不跨越界限句子计数的单词对。 另外，如果您还没有考虑过，可以考虑使用像OpenNLP或CoreNLP这样的自然语言处理库来进行句子边界检测，标记化等。