在hadoop mapreduce作業中插入連接到數據庫時發生異常

Question

我有一個mapreduce作業，該作業應該將數據持久保存到MySQL數據庫，但是它引發了一個異常，

 INFO mapred.JobClient: Task Id : attempt_201501122044_1310_r_000001_0, Status : FAILED
 java.io.IOException  at org.apache.hadoop.mapreduce.lib.db.DBOutputFormat.getRecordWriter(DBOutputFormat.java:180)
    at org.apache.hadoop.mapred.ReduceTask.runNewReducer(ReduceTask.java:597)
    at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:444)
    at org.apache.hadoop.mapred.Child$4.run(Child.java:268)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:415)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1642)
    at org.apache.hadoop.mapred.Child.main(Child.java:262)

這個mapreduce作業在5個節點的集群上運行，我已經確認通過使用sql連接創建測試簡單的主類來形成數據庫連接。

在這一點上，我很困。

Answer 1

這是一個權限問題：請注意UserGroupInformation已標記：

    `at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:164`2)

什么樣的安全性問題？ 從Stacktrace尚不清楚。 您的代碼是否在做HDFS？ 還是還有什么會觸發安全檢查？