在Spark执行程序上找不到Apache Phoenix JDBC驱动程序

Question

我正在通过胖客户端连接到apache phoenix，并且已经向--files提供了phoenix-client.jar，但是执行者仍然找不到驱动程序。

Answer 1

因此，问题是如何在驱动程序和执行程序节点上自动将Spark类加载驱动程序类？

Spark在添加到其类路径的所有jar中寻找java.sql.Driver文件用户META-INF目录。 该文件包含驱动程序类名称，spark读取并单独加载它们。

在phoenix客户端jar中，缺少META-INF java.sql.Driver文件，因此我创建了内容为org.apache.phoenix.jdbc.PhoenixDriver的文件java.sql.Driver 。

并放在META-INF目录下，然后重新创建jar。

通过放置此更新的jar，spark能够自行加载驱动程序。