我如何使用 Spark 上下文？

Question

我將值分配為 sc = pyspark.SparkContext()。 它在 jupyter notebook 上運行並沒有響應很長時間，因為星號出現並且沒有顯示任何錯誤左右。

我試過sc = SparkContext()

import pyspark
import os
from pyspark import SparkContext, SparkConf
sc = pyspark.SparkContext()  # At this part it don't respond
from pyspark.sql import SQLContext
sqlc = SQLContext(sc)

它應該繼續。

Answer 1

對於 Python，

from pyspark import SparkContext
sc = SparkContext(appName = "test")

但是由於您正在使用 pyspark version 2+ ，因此您不需要初始化 spark 上下文。 您可以創建一個 spark 會話並直接對其進行處理。

從 SPARK 2.0.0 開始，SparkSession 提供了與底層 Spark 功能交互的單一入口點，並允許使用 DataFrame 和 Dataset API 對 Spark 進行編程。 sparkContext 提供的所有功能在 sparkSession 中也可用。

為了使用 SQL、HIVE 和 Streaming 的 API，無需創建單獨的上下文，因為 sparkSession 包含所有 API。

要配置 spark 會話，

session = SparkSession.builder.getOrCreate()

Answer 2

嘗試以下導入： from pyspark import *之后您可以像這樣使用它：

sc = SparkContext()