![](/img/trans.png)
[英]MongoDB Spark Connector py4j.protocol.Py4JJavaError: An error occurred while calling o50.load
[英]Spark py4j.protocol.Py4JJavaError: An error occurred while calling o718.showString
我是新來的火花。 我在Spark(pySPark)上運行python API以在cloudera集群上構建模型。
我創建了一個批處理文件來提交作業。 除了顯示數據幀結果的最后一步 - “ step3_final.show()
”之外,作業成功運行,它會拋出錯誤。
PFB我在日志中收到的錯誤消息
step3_final.show(6)
File "/opt/cloudera/parcels/CDH-5.7.1-1.cdh5.7.1.p1876.1944/lib/spark/python/lib/pyspark.zip/pyspark/sql/dataframe.py", line 257, in show
File "/opt/cloudera/parcels/CDH-5.7.1-1.cdh5.7.1.p1876.1944/lib/spark/python/lib/py4j-0.9-src.zip/py4j/java_gateway.py", line 813, in __call__
File "/opt/cloudera/parcels/CDH-5.7.1-1.cdh5.7.1.p1876.1944/lib/spark/python/lib/pyspark.zip/pyspark/sql/utils.py", line 45, in deco
File "/opt/cloudera/parcels/CDH-5.7.1-1.cdh5.7.1.p1876.1944/lib/spark/python/lib/py4j-0.9-src.zip/py4j/protocol.py", line 308, in get_return_value
py4j.protocol.Py4JJavaError: An error occurred while calling o718.showString.
任何人都可以幫我理解錯誤信息。 提前致謝。
這可能是因為編碼問題只是添加了這個
# -*- coding: utf-8 -*-
如果您使用spark submit else運行解決方案,則在代碼頂部的python腳本中
import sys
# sys.setdefaultencoding() does not exist, here!
reload(sys) # Reload does the trick!
sys.setdefaultencoding('UTF8')
如果這有幫助,請告訴我
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.