我如何使用 Spark 上下文？

Question

我将值分配为 sc = pyspark.SparkContext()。 它在 jupyter notebook 上运行并没有响应很长时间，因为星号出现并且没有显示任何错误左右。

我试过sc = SparkContext()

import pyspark
import os
from pyspark import SparkContext, SparkConf
sc = pyspark.SparkContext()  # At this part it don't respond
from pyspark.sql import SQLContext
sqlc = SQLContext(sc)

它应该继续。

Answer 1

对于 Python，

from pyspark import SparkContext
sc = SparkContext(appName = "test")

但是由于您正在使用 pyspark version 2+ ，因此您不需要初始化 spark 上下文。 您可以创建一个 spark 会话并直接对其进行处理。

从 SPARK 2.0.0 开始，SparkSession 提供了与底层 Spark 功能交互的单一入口点，并允许使用 DataFrame 和 Dataset API 对 Spark 进行编程。 sparkContext 提供的所有功能在 sparkSession 中也可用。

为了使用 SQL、HIVE 和 Streaming 的 API，无需创建单独的上下文，因为 sparkSession 包含所有 API。

要配置 spark 会话，

session = SparkSession.builder.getOrCreate()

Answer 2

尝试以下导入： from pyspark import *之后您可以像这样使用它：

sc = SparkContext()