![](/img/trans.png)
[英]AttributeError: 'SparkContext' object has no attribute 'createDataFrame' using Spark 1.6
[英]Spark AttributeError: 'SparkContext' object has no attribute 'map'
我在Hortonworks Data Platform 2.2上使用Spark,出现以下错误...有什么想法吗?
#!/usr/bin/env python
import sys
import pyspark
from pyspark import SparkContext
if 'sc' not in globals():
#sc = SparkContext('local[4]', 'pyspark','map')
sc = SparkContext(appName="PythonKMeans")
nums = sc.map([23,232,1,232,43,43])
squared = nums.map(lambda x: x*x).collect()
for num in squared:
print num
代替
nums = sc.map([23,232,1,232,43,43])
尝试
nums = sc.parallelize([23,232,1,232,43,43])
这告诉Spark在整个集群上分配序列,并从中创建一个RDD。 然后,可以像在下一行中那样在RDD上使用lambda函数调用map。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.