支持Map的IDE減少Scala中的程序

Question

嗨，有人可以建議適合的IDE在Scala中編寫mapreduce程序嗎？ 請使用mapreduce提供Scala中WordCount程序的示例代碼。

Answer 1

如果您正在談論分布式計算，那么在scala世界中該領域的主要參與者是Spark 。

文檔附帶了字數統計示例：

val textFile = spark.textFile("hdfs://...")
val counts = textFile.flatMap(line => line.split(" "))
                 .map(word => (word, 1))
                 .reduceByKey(_ + _)
counts.saveAsTextFile("hdfs://...")

您可以在交互式外殼程序或程序中運行此代碼。 可以通過以下方式創建Spark上下文：

val conf = new SparkConf().setAppName("Simple Application")
val spark = new SparkContext(conf)

在Github上也有很多准備運行的示例

Answer 2

您可以使用Eclipse，因為Spark應用程序本質上是scala代碼。
任何想法都只會幫助開發（編寫代碼），而不會幫助調試，因為此應用程序已提交到Hadoop集群並在所有節點中並行執行。