sc.textFile Scala錯誤

Question

我正在嘗試從寫入文件的路徑讀取文件。 我正在關注文檔，因此我在使用以下代碼行：

 val data = sc.textFile(PATH)

這給出了編譯錯誤：找不到：值sc。

我找到了涉及應在終端中給出的命令的解決方案，但就我而言，我正在使用eclipse。 是否可以通過導入庫或類似的方法來解決此問題？

謝謝！

Answer 1

您需要首先創建spark上下文。

例如：

val conf = new SparkConf().setAppName(appName).setMaster(master)
val sc = new SparkContext(conf)

使用Spark Shell時，無需創建spark上下文，因為已經為您創建了spark上下文，該變量名為sc。

您可以在此處了解有關spark上下文初始化的更多信息。