[英]Spark SQL json error
我試圖使用sql上下文創建jsonrdd,但出現以下錯誤。.我將代碼和錯誤放置在下面..請提出建議。
我的代碼:
rdd1=sqlContext.jsonRDD('/idn/home/ijamalmo/ibfiles/datafiles/sampledata.json')
錯誤
追溯(最近一次通話):
文件“”,第1行,位於
jsonRDD中的第442行的文件“ /opt/mapr/spark/spark/spark-1.4.1/python/pyspark/sql/context.py”
keyed = rdd.mapPartitions(func)
AttributeError:“ str”對象沒有屬性“ mapPartitions”
jsonRDD
不是pyspark函數。 你要:
rdd1 = sqlContext.read.json('fileLoc').rdd
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.