![](/img/trans.png)
[英]pyspark context issue: AttributeError: type object 'SparkContext' has no attribute '_jsc'?
[英]Pyspark - Error related to SparkContext - no attribute _jsc
不确定这是什么问题。 我见过关于这个问题的类似问题,但没有解决我的问题。 完全错误,
Traceback (most recent call last):
File "C:/Users/computer/PycharmProjects/spark_test/spark_test/test.py", line 4, in <module>
sqlcontext = SQLContext(sc)
File "C:\Users\computer\AppData\Local\Programs\Python\Python36\lib\site-packages\pyspark\sql\context.py", line 74, in __init__
self._jsc = self._sc._jsc
AttributeError: type object 'SparkContext' has no attribute '_jsc'
这是我尝试运行的简单代码:
from pyspark import SQLContext
from pyspark.context import SparkContext as sc
sqlcontext = SQLContext(sc)
df = sqlcontext.read.json('random.json')
如果您使用的是 Spark Shell,您会注意到SparkContext
已经创建。
否则,您可以通过导入、初始化和提供配置设置来创建 SparkContext。 在您的情况下,您只将SparkContext
传递给SQLContext
import pyspark
conf = pyspark.SparkConf()
# conf.set('spark.app.name', app_name) # Optional configurations
# init & return
sc = pyspark.SparkContext.getOrCreate(conf=conf)
sqlcontext = SQLContext(sc)
df = sqlcontext.read.json('random.json')
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.