将Spark DataFrame写入mysql表时出错

Question

我尝试将spark数据帧的内容写入mysql表。 但是我总是收到以下错误：

java.sql.SQLException: No suitable driver found for 'URL' 

我正在使用spark-1.6.0。 对数据库的查询没有任何问题：在正确设置之后，我可以运行查询并毫无问题地得到结果。

val mysqlDriver = "Driver"
val mysqlUsername = "name"
val mysqlPwd = "pwd"
val mysqlUrl = "jdbc:mysql://myUrl" 
 val sqlContext = new org.apache.spark.sql.SQLContext(sc)
Class.forName(mysqlDriver).newInstance

val dataRDD = new JdbcRDD(sc, () =>
  DriverManager.getConnection(mysqlUrl, mysqlUsername, mysqlPwd) ,
  "a query",
  0,
  1000000,
  2,
  r => r.getString("something") + ", " + r.getString("somethingmore") + ", " + r.getString("somethingelse"))

但是，将数据框写入表不起作用：

todb.insertIntoJDBC(mysqlUrl + "/db" + "?user=name&password=pwd", "table", false) 

由于此方法似乎已被弃用，因此我也尝试过：

val prop = new java.util.Properties
prop.setProperty("user", mysqlUsername)
prop.setProperty("password",mysqlPwd)

尝试了以下两个版本：

prop.setProperty("driver", "/somedir/mysql-connector-java-5.1.37-bin.jar")
prop.setProperty("driver", "mysqlDriver")

和这两个版本：

todb.write.jdbc(mysqlUrl + "/boosting" + "?user=mysqlUsername&password=mysqlPwd", "boosting.user_cluster", prop)
todb.write.jdbc(mysqlUrl, "table", prop) 

启动spark-shell时，我还将驱动程序的jar作为–jars参数之一。 我进一步尝试设置此：

val conf = new SparkConf().setJars(Array("somejar.jar", "/somedir/mysql-connector-java-5.1.37-bin.jar"))

在这个问题上的任何帮助将不胜感激！

Answer 1

MySQL的正确driver类是com.mysql.jdbc.Driver 。 假设其余设置正确：

prop.setProperty("driver", "com.mysql.jdbc.Driver")