java.lang.ClassNotFoundException：org.openx.data.jsonserde.JsonSerDe

Question

我正在尝试使用iPython从Hive查询表。 下面是我的代码的样子。

sqlc = HiveContext(sc)
sqlc.sql("ADD JAR s3://x/y/z/jsonserde.jar")

我首先创建一个新的配置单元上下文，然后尝试添加上面的jar。 以下是我收到的错误消息。

Py4JJavaError: An error occurred while calling o63.sql:
java.lang.ClassNotFoundException: org.openx.data.jsonserde.JsonSerDe

如何将这个罐子添加到Spark类路径？

Answer 1

之所以会出现此错误，是因为在启动iPython时尚未将库添加到SparkContext中。

为此，您需要执行以下操作来运行Shell：

PYSPARK_DRIVER_PYTHON=ipython bin/pyspark --master local[1] --jars [path/to/jar].jar --driver-class-path [path/to/jar].jar 

注意：现在考虑使用SPARK-5185 ， --jars指定--jars是不够的。