在hadoop mapreduce作业中插入连接到数据库时发生异常

Question

我有一个mapreduce作业，该作业应该将数据持久保存到MySQL数据库，但是它引发了一个异常，

 INFO mapred.JobClient: Task Id : attempt_201501122044_1310_r_000001_0, Status : FAILED
 java.io.IOException  at org.apache.hadoop.mapreduce.lib.db.DBOutputFormat.getRecordWriter(DBOutputFormat.java:180)
    at org.apache.hadoop.mapred.ReduceTask.runNewReducer(ReduceTask.java:597)
    at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:444)
    at org.apache.hadoop.mapred.Child$4.run(Child.java:268)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:415)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1642)
    at org.apache.hadoop.mapred.Child.main(Child.java:262)

这个mapreduce作业在5个节点的集群上运行，我已经确认通过使用sql连接创建测试简单的主类来形成数据库连接。

在这一点上，我很困。

Answer 1

这是一个权限问题：请注意UserGroupInformation已标记：

    `at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:164`2)

什么样的安全性问题？ 从Stacktrace尚不清楚。 您的代码是否在做HDFS？ 还是还有什么会触发安全检查？